Sí. No le debes a nadie una relación.
Dependiendo de quién sea la persona, puede ser difícil eliminarla por completo. Si este es el caso, como un miembro de la familia que vería en días festivos u otras reuniones, le recomendaría que sea lo más civil posible y se disculpe de su compañía lo antes posible. Y tampoco le debe una explicación a ningún otro miembro de la familia, no importa lo fuerte que presionen.