Cómo calcula Varify la significación
Índice
Corto y dulce
El artículo explica cómo Varify analiza los resultados de las pruebas con un método frecuentista que utiliza pruebas chi-cuadrado y t unilaterales para detectar la significación más rápidamente. También explica por qué los tiempos de ejecución más largos y las pocas métricas -especialmente en las pruebas A/A- son importantes para evitar decisiones erróneas por azar.
Cálculo de la significación en app.varify.io
Varify utiliza un sistema estadístico para evaluar los resultados de las pruebas. método frecuentista. Calcula la probabilidad de que la diferencia entre la variante y el original se deba al azar. Si el azar puede descartarse en la medida de lo posible, Varify muestra el recíproco del valor p calculado el llamado Significado. ¿Esto es superior al 95 %, el resultado se muestra en la herramienta como significativo exhibido.
Para evaluar los resultados de la forma más eficaz posible, Varify utiliza dos pruebas estadísticas establecidas:
Para objetivos binomiales (por ejemplo, tasa de clics, tasa de conversión), un prueba chi-cuadrado unilateral usado.
Para métricas de ventas o valor (por ejemplo, valor medio de pedido, ingresos por visitante) se utiliza para calcular un prueba t de Student unilateral utilizado.
Estas pruebas unilaterales se han elegido deliberadamente. Proporcionan resultados más rápidos, porque calculan de forma menos conservadora que los métodos de dos caras. Esto permite a los clientes ver antes si es probable que una variante obtenga mejores resultados.
Por supuesto, esto también tiene su lado negativo: si una prueba corre muy poco o muchas métricas al mismo tiempo analizados, la probabilidad de que Falso positivo - es decir, un resultado que parece significativo, aunque en realidad sólo fue una coincidencia.
Por lo tanto:
👉 Mejor probar un poco más, para que los resultados se estabilicen y se pueda juzgar con mayor fiabilidad si una variante es realmente mejor.
Especialmente para Pruebas A/A es importante que sólo Pocos destinos añadir. A través del llamado Acumulación de errores alfa cada métrica adicional aumenta la probabilidad de que un Falso positivo es decir, un supuesto ganador que en realidad no lo es.
Mejores prácticas para las pruebas A/A:
Duración: al menos 10 días
Al menos 500 conversiones por variante
Máximo 3 destinos con especial atención al Principal KPI
Los valores de significación intermedios deben ser ignorado El resultado final es lo que cuenta. Es la única manera de mantener baja la tasa de falsos positivos y de que los resultados sean realmente fiables.
Cálculo propio de la significación utilizando una calculadora de significación
Compruebe si los resultados de sus pruebas A/B presentan diferencias significativas. Varify.io le proporciona una calculadora de significancia para este propósito.
