Supongo que en cierto sentido técnico podría llamarse sexista. Sin lugar a dudas, si se tratara de un hombre que pregunta si es sexista para él preferir trabajar con otros hombres en lugar de mujeres, le gritarían. Pero no diría que lo que estás haciendo es inadecuado, suponiendo que seas honesto con los detalles.
Todo lo demás es igual, entonces, ¿qué se supone que debes hacer? ¿Lanza una moneda? Tus colegas masculinos tendrán que mejorar su juego para que las cosas no sean todas iguales si quieren el beneficio profesional de trabajar contigo. O tal vez también son sexistas y felices de estar estancados trabajando con hombres.