¿El novio me dice que soy parcialmente responsable de cualquier llamada de nombre de su colega de trabajo?

Bueno, eso es un poco vago; ¿De qué manera piensa él que eres responsable? ¿Qué tipo de nombres te están llamando? Sin nada más que seguir, tendría que preguntar:

¿Te sientes incómodo, faltado al respeto, degradado o asustado por estos nombres?

Si es así, entonces tu novio debe ponerle fin.