Le test A/A indique des résultats significatifs
Table des matières
Comment reconnaître l'erreur
Ton test A/A affiche un résultat significatif pour une ou plusieurs métriques après quelques jours.
Voici comment corriger l'erreur
Un test A/A sert à vérifier la fiabilité de la configuration de test. Deux variantes identiques sont testées l'une contre l'autre. En théorie, les deux variantes devraient obtenir les mêmes résultats. Si un test A/A donne après peu de temps un résultat significatif indique généralement pas sur un effet réel, mais sur des causes statistiques ou techniques vers.
1. importance de la significativité dans le test A/A
Varify évalue les résultats des tests avec un approche fréquentiste.
Si le Le hasard largement exclu peut être utilisé, le Inverse de la valeur p comme Significativité s'affiche.
Si cette valeur est supérieure à 95 %, Varify affiche un résultat significatif à.
Dans un test A/A, cela ne signifie toutefois pas qu'une variante est effectivement „meilleure“ - mais que les données sont distribuées au hasard de telle sorte que la probabilité d'une différence semble plus grande qu'elle ne l'est en réalité.
2. causes fréquentes d'un „faux“ résultat significatif
a) Durée trop courte
Si les données sont trop peu nombreuses, le hasard peut encore agir fortement. Une excursion significative à court terme est normale et ne constitue pas un signal fiable.
b) Trop d'objectifs (goals)
Chaque cible supplémentaire augmente la probabilité d'un soi-disant Erreur alpha. Cela signifie que les chances de trouver une différence par hasard quelque part augmentent avec le nombre de métriques.
c) Attribution inégale du trafic
Si les visiteurs ne sont pas répartis de manière égale entre les variantes (par ex. en raison de la mise en cache, du trafic de bots ou d'une diffusion incomplète), le résultat peut être faussé.
d) Échantillon trop petit
Lorsque le nombre de conversions est faible, les métriques varient fortement. Il suffit de quelques conversions de différence pour que l'importance apparente soit élevée.
3. meilleures pratiques pour les tests A/A
Pour que les tests A/A donnent des résultats fiables, nous recommandons
Durée de fonctionnement : au moins 10 jours
Quantité de données : au moins 500 conversions par variante
Objectifs : maximum 3 métriques, avec focalisation sur les principaux KPI
Ignorer les résultats intermédiaires : Les valeurs significatives pendant la durée de vie peuvent fluctuer. Seul le Résultat final après la fin du test est significatif.
Tu t'assures ainsi que l'influence du hasard reste faible et que l'évaluation donne des résultats réalistes.
4. conclusion
Un résultat significatif dans un test A/A signifie dans la plupart des cas pas de signal réel, mais est limitée à Aléatoire ou configuration de test est due.
Ce n'est que lorsque suffisamment de données ont été collectées sur une longue période et que le hasard peut être statistiquement exclu qu'un résultat est réellement fiable.