Ese es un lenguaje irónico, casi equivalente a “¡No puedo creer que hayas dicho eso!” No están negando que lo dijiste; Encuentran asombroso que lo hayas dicho.
En cuanto a por qué se sienten de esa manera, podría ser una de varias razones. Tal vez parezca fuera de lugar para ti. Tal vez piensen que nadie podría creer eso (sea lo que sea). Tal vez lo encuentren insultante y se sorprendan de que seas tan grosero. U otras posibilidades