Comment Varify calcule la significativité
Table des matières
En bref
L'article explique comment Varify évalue les résultats des tests à l'aide d'une méthode fréquentiste, en utilisant des tests unilatéraux du khi-carré et des tests t pour détecter plus rapidement la significativité. Il explique également pourquoi des temps d'exécution plus longs et peu de métriques - en particulier pour les tests A/A - sont importants pour éviter les décisions erronées dues au hasard.
Calcul de la significativité dans app.varify.io
Varify utilise un outil statistique pour évaluer les résultats des tests. méthode fréquentiste. Le système calcule la probabilité qu'une différence entre la variante et l'original soit due au hasard. Si le hasard peut être exclu dans une large mesure, Varify affiche le Inverse de la valeur p calculée à la soi-disant Significativité. Est-ce que cette supérieur à 95 %, le résultat est affiché dans l'outil sous la forme significatif s'affiche.
Afin d'évaluer les résultats le plus efficacement possible, Varify utilise deux tests statistiques bien établis :
Pour les objectifs binomiaux (par ex. taux de clics, taux de conversion), un test unilatéral du khi-carré est utilisé.
Pour les métriques de chiffre d'affaires ou de valeur (par ex. Average Order Value, Revenue per Visitor), un test de Student unilatéral est utilisé.
Ces tests unilatéraux sont délibérément choisis. Ils fournissent des résultats plus rapides, car elles sont moins conservatrices que les méthodes bilatérales. Les clients peuvent ainsi voir plus tôt si une variante est susceptible de donner de meilleurs résultats.
Bien sûr, il y a un revers à la médaille : si un test fonctionne très brièvement ou pour des de nombreuses métriques en même temps les chances d'obtenir un "certificat de bonne santé" augmentent. Faux positif - c'est-à-dire un résultat qui semble significatif alors qu'il s'agit en réalité d'une simple coïncidence.
C'est pourquoi
👉 Mieux vaut tester un peu plus longtemps, Il est important que tu fasses des recherches sur le sujet, afin que les résultats se stabilisent et que tu puisses juger avec plus d'assurance si une variante est vraiment meilleure.
En particulier pour Tests A/A il est important de n'utiliser que peu d'objectifs à l'ensemble de la population. Grâce à ce que l'on appelle la Cumul de l'erreur alpha chaque métrique supplémentaire augmente la probabilité qu'un Faux positif un soi-disant gagnant qui n'en est pas un en réalité.
Meilleures pratiques pour les tests A/A :
Durée de fonctionnement : au moins 10 jours
Au moins 500 conversions par variante
3 objectifs maximum ajouter, en se concentrant sur les Principal KPI
Les valeurs significatives qui apparaissent entre-temps doivent ignore c'est le résultat final qui compte. Ce n'est qu'ainsi que le taux de faux positifs reste faible et que les résultats sont vraiment fiables.
Calcul propre de la significativité à l'aide d'un calculateur de significativité
Vérifie que les résultats de ton test A/B ne présentent pas de différences significatives. Pour cela, Varify.io met à ta disposition un calculateur de significativité.
