No veo por qué no le dirías a tu novio que te sientes inseguro por esta situación. Hacerle saber cómo se siente le dará la oportunidad de hacer ajustes con respecto a su comportamiento. Es posible que una vez más no haga ningún ajuste que al menos le haga saber que no considera cómo se siente en serio.
El punto es que estás lidiando con una situación con la que no te sientes cómodo y debes verbalizarla en lugar de mantenerla para ti. Hablar de ello al menos alentaría el progreso.