¿Por qué me afecta la persona que ni siquiera me gusta?

Simplemente porque le estás dejando que te afecte.

Si no te gusta esa persona y no tiene nada que ver con ella, entonces no debes preocuparte por lo que dice o hace. Pero si está haciendo esfuerzos deliberados para hacerte enojar, debes hablar con él y decirle que no te gusta su comportamiento.

En la vida, te encontrarás con muchos idiotas que intentarán menospreciarte o lastimarte intencionalmente. El día que dejes de preocuparte, perderán el poder de afectarte. Entonces, deja de preocuparte por lo que otros dicen. Esa es la única manera de vivir una vida menos complicada.

Hay tres causas posibles para esto.
En primer lugar, usted podría tener una cosa para esa persona. Lo cual es bastante simple. Solo ve a hablar con él o ella y lo descubrirás.
En segundo lugar, podría ser una de esas personas que se ven fácilmente afectadas por lo que las personas dicen y hacen, por lo que podría ser la razón por la que la persona lo afecta, aunque no tenga la obligación de hacerlo.
En tercer lugar, tal vez sea lo que dijo la persona. Si eso realmente te importara tanto.
Estas son simplemente las conclusiones que puedo derivar. Solo tú puedes decidir qué factor lo describe mejor.
Qué puedo decir, soy un fan de Sherlock.