Si lo que dijiste es verdad, no deberías retirarlo.
Le dijiste algo sobre ti, y él lo tomó como un insulto. Eso es sobre él. Puede intentar hacerle saber que no lo está llamando poco confiable, pero si está obligado y determinado a tomar esto personalmente, no hay mucho que pueda hacer.