La prueba A/A arroja resultados significativos
Índice
Cómo reconocer el error
Su prueba A/A muestra un resultado significativo para una o más métricas al cabo de unos días.
Cómo rectificar el error
Una prueba A/A sirve para comprobar la fiabilidad de la configuración de la prueba. Se comparan dos variantes idénticas. En teoría, ambas variantes deberían obtener los mismos resultados. Si una prueba A/A muestra un resultado significativo suele indicar que no en un efecto real, pero en Causas estadísticas o técnicas allí.
1. importancia de la significación en la prueba A/A
Varify evalúa los resultados de las pruebas con un enfoque frecuentista.
Cuando el Se descarta en gran medida la coincidencia el recíproco del valor p como Significado exhibido.
Si este valor es superior a 95 %, Varify muestra un resultado significativo a.
En una prueba A/A, sin embargo, esto no significa que una variante sea realmente „mejor“, sino que los datos se distribuyen aleatoriamente de tal forma que la probabilidad de una diferencia parece mayor de lo que realmente es.
2. causas habituales de un „falso“ resultado significativo
a) Plazo demasiado corto
Con muy pocos datos, el azar puede seguir teniendo un fuerte efecto. Una desviación significativa a corto plazo es normal y no una señal fiable.
b) Demasiados goles
Cada objetivo adicional aumenta la probabilidad de un llamado Error alfa. Esto significa que la probabilidad de que se encuentre una diferencia en algún lugar por casualidad aumenta con el número de métricas.
c) Reparto desigual del tráfico
Si los visitantes no se distribuyen uniformemente entre las variantes (por ejemplo, por almacenamiento en caché, tráfico de bots o reproducción incompleta), el resultado puede estar distorsionado.
d) Muestra demasiado pequeña
Las métricas fluctúan mucho con cifras de conversión bajas. Una diferencia de unas pocas conversiones puede dar lugar a una importancia aparentemente elevada.
3. mejores prácticas para las pruebas A/A
Para garantizar que las pruebas A/A ofrezcan resultados fiables, recomendamos
Duración: como mínimo 10 días
Volumen de datos: como mínimo 500 conversiones por variante
Objetivos: máximo 3 Métricas, centrándose en los principales KPI
Ignora los resultados intermedios: Los valores de significación pueden fluctuar durante la legislatura. Sólo los Resultado final al término de la prueba tiene sentido.
Esto garantiza que la influencia del azar siga siendo baja y que el análisis ofrezca resultados realistas.
4. conclusión
Un resultado significativo en una prueba A/A significa en la mayoría de los casos Sin señal real, pero se limita a Configuración aleatoria o de prueba atribuible.
Sólo cuando se han recogido datos suficientes durante un periodo de tiempo más largo y se puede excluir estadísticamente el azar, un resultado es realmente fiable.