¿A los evaluadores A / B les importa la significación estadística?

Answer 1

Creo que la mayoría lo hace. La importancia estadística se integra estrechamente en todas las plataformas de pruebas divididas populares (Optimizely, VWO, Maxymiser, etc.) en las que confían la mayoría de los probadores A / B.

De hecho, en todo caso, puede haber un exceso de confianza en ello. Como usted probablemente sabe, la significación estadística se puede observar en números muy bajos. Considere el siguiente ejemplo, tomado de una calculadora de significancia en línea. Matemáticamente, hay una elevación del 250% a 96% de significación estadística. ¿Pero realmente tomaría una decisión de negocios basada en 200 visitantes y 13 conversiones?

Afortunadamente, las herramientas de prueba dividida han comenzado a emplear modelos de estadísticas más robustos. Sin embargo, muchos evaluadores A / B no entienden completamente lo que significa la significación estadística ni cómo interpretarla, y mucho menos los conceptos relacionados como el poder estadístico, la varianza, etc. falso ”por razones distintas de la significación estadística.

Answer 2

Sí, la mayor parte de la comunidad está educada en la medida en que existe algo parecido a la variación natural que conduce a las fluctuaciones que usted observaría, incluso si realiza una A / A / pruebas. Los clientes educados también solicitarían eso, también. Sin embargo, es difícil estimar qué tan extendida está.

Además, dado que el campo aún es infantil en lo que se refiere a estadísticas, hay muchos malentendidos y mal uso de las pruebas de significación estadística, como lo demuestran muchos de los libros, publicaciones de blogs y discusiones que uno puede leer en línea, donde consejos como hasta que tenga al menos 100 conversiones en una prueba “o” espere hasta que su prueba alcance una significación estadística “todavía se acepta como válido. He detallado algunas formas comunes de evitarlas aquí: Significado estadístico en las pruebas A / B: una guía completa, si está interesado.

Entonces, la respuesta corta que daría es: “sí, hasta cierto punto”.

Answer 3

No sé qué quiere decir con “probadores A / B”. Si por probadores A / B te refieres a personas que realizan pruebas A / B, la respuesta es que depende. Hay muchos de ellos que se preocupan por la importancia estadística y también el poder estadístico, el diseño de experimentos, todo el asunto.

Hay otros simplemente mirar “quién ganó” y eso es todo. Aunque están disminuyendo.