Intervalle de confiance dans le test A/B : la variable sous-estimée pour des résultats valides

Steffen Schulz

Publié le juillet 14, 2025

Un test A/B fonctionne bien. La variante B semble meilleure, et même statistiquement significative. Décision prise, test terminé.

Mais peu après, le résultat bascule. L'amélioration s'évanouit. Qu'est-ce qui n'a pas fonctionné ?

Beaucoup se fient à la valeur p. Celle-ci indique seulement si une différence est probable. Pas à quel point le résultat est sûr.

Les intervalles de confiance aident justement à cela. Ils montrent la stabilité du résultat de ton test et la part d'incertitude qu'il contient.

Sans cette compréhension, tu prendras des décisions qui te coûteront de l'argent plus tard.

Intervalle de confiance : ce qu'il est vraiment et pourquoi tu en as besoin

Un intervalle de confiance te dit avec quelle précision ton taux de conversion est estimé.

Exemple : tu as testé 2.000 utilisateurs, 82 d'entre eux ont converti. Cela donne un taux de conversion de 4,1 %.

Un outil statistique calcule alors un intervalle de confiance de [3,3 % - 5,0 %], avec un niveau de confiance de 95 %.

Cela signifie que si tu effectues le même test 100 fois avec de nouveaux utilisateurs, le résultat réel se situerait dans cet intervalle pour environ 95 de ces passages.

Qu'est-ce que le niveau de confiance ?

Le niveau de confiance indique le degré de certitude que tu as que l'intervalle contient la vraie valeur.
Dans la pratique, on travaille presque toujours avec 95 %. Un bon compromis entre sécurité et efficacité.
Plus le niveau est élevé, plus l'intervalle est large, mais aussi plus ton évaluation est prudente.

Pourquoi c'est important

Un seul pourcentage semble précis, mais ce n'est qu'une estimation
Seul l'intervalle indique la fiabilité de cette estimation
Plus l'échantillon est petit, plus la variation est importante
Plus le niveau de confiance est élevé, plus l'évaluation est conservatrice

Comment les intervalles de confiance sécurisent les tests A/B

Imagine que tu testes deux variantes d'une page de renvoi :

Variante A : 4,1 % Conversion
Variante B : 4,9 % Conversion

Sans plus d'informations, B semble être le vainqueur incontesté. Mais c'est en regardant les intervalles de confiance que tu peux savoir si tu peux t'y fier :

A : [3,6 % - 4,6 %]

B : [4,3 % - 5,5 %]

Les intervalles ne se chevauchent pas. C'est un signal fort : l'amélioration est probablement réelle.

Un autre scénario :

A : [3,6 % - 4,6 %]

B : [4,0 % - 5,3 %]

Il y a maintenant un chevauchement. Cela signifie que les deux variantes pourraient en réalité avoir les mêmes performances. La différence mesurée peut être due au hasard. Prendre une décision sur cette base serait risqué.

Règle générale :

Pas de chevauchement → décision possible
Chevauchement → résultat incertain, prolonger le test ou le baser sur davantage de données

Ce que cela t'apporte

Tu peux voir si une différence est statistiquement prouvée ou si elle n'existe qu'en apparence.
Tu prends des décisions non seulement plus rapidement, mais aussi avec une qualité supérieure
Tu réduis le risque d'investir des ressources dans une variante prétendument meilleure.

Les zones de risque sous-estimées : Niveau de confiance, erreurs de 1er et 2e type

Un test A/B indique un niveau de confiance de 95 %. Cela semble fiable, mais qu'est-ce que cela signifie exactement ?

Il est dit que si tu fais le même test cent fois avec d'autres visiteurs, le résultat réel se situe dans l'intervalle de confiance calculé dans environ 95 cas. Mais dans cinq cas, ce n'est pas le cas. Ces cinq pour cent correspondent à la probabilité d'erreur que tu prévois à chaque test. C'est ce qu'on appelle l'erreur de première espèce.

Erreur de type 1 : tu penses qu'un résultat aléatoire est réel

Un exemple :

Variante A : 4,1 % de conversion (820 conversions pour 20 000 visiteurs)
Variante B : 4,6 % de conversion (920 conversions pour 20 000 visiteurs)
Valeur p : 0,045
Intervalles de confiance :
A : [3,8 % - 4,4 %]
B : [4,3 % - 4,9 %]

Cela semble convaincant. B semble meilleur, les intervalles se chevauchent à peine. Néanmoins, le résultat peut avoir été obtenu par hasard. Dans ce cas, la décision serait erronée, même si le test était formellement correct.

Pourquoi ? Les deux intervalles de confiance sont très proches l'un de l'autre. La variante A se termine à 4,4 %, la variante B commence à 4,3 %. Cet écart minimal peut être le fruit du hasard. En réalité, les deux variantes pourraient être aussi performantes l'une que l'autre. La procédure reconnaît certes la "significativité", mais pas l'incertitude derrière le résultat. C'est précisément une erreur de premier type : tu crois qu'une variante est meilleure alors que l'effet n'est pas robuste.

Erreur du deuxième type : tu passes à côté d'une variante effectivement meilleure

Autre scénario :

Variante A : 4,1 pour cent (123 conversions pour 3.000 visiteurs)
Variante B : 4,8 pour cent (144 conversions pour 3.000 visiteurs)
Valeur p : 0,12
Intervalles de confiance :
A : [3,4 % - 4,9 %]
B : [4,0 % - 5,7 %]

Les valeurs de la variante B sont meilleures, mais les intervalles de confiance se chevauchent nettement. La limite supérieure de A est de 4,9 pour cent, la limite inférieure de B de 4,0 pour cent. En d'autres termes, la différence n'est pas suffisamment clairement étayée.

Pourquoi s'agit-il d'une erreur de deuxième type ?

Parce que si l'effet existe réellement, il n'est pas statistiquement démontrable. Du moins pas avec cette quantité de données. La puissance du test n'est pas suffisante pour rendre la différence visible. Tu rejettes la variante B alors qu'elle est effectivement meilleure. L'erreur ne réside pas dans l'interprétation, mais dans l'insuffisance de la base de données.

Dans de tels cas, une seule chose peut aider : Prolonge la durée du test, collecte davantage de données ou prends ta décision sur la base de critères supplémentaires. Il peut s'agir par exemple de la taille de l'effet, de l'impact sur l'entreprise ou de données empiriques antérieures. Ceux qui concluent de manière générale à "non significatif" passent souvent à côté d'opportunités réelles.

Comment planifier le temps de test et la taille de l'échantillon avec des intervalles de confiance

De nombreux tests A/B sont arrêtés trop tôt. Une valeur atteint le seuil de signification, les taux de conversion semblent bons - et l'expérience est interrompue. Mais sans regarder l'intervalle de confiance, on ne sait pas si le résultat est vraiment stable. En décidant trop vite, on risque de fausser les conclusions et de prendre des mesures mal hiérarchisées.

Qu'est-ce qui influence la largeur de l'intervalle de confiance ?

Un intervalle de confiance est d'autant plus étroit que tu collectes des données.
Trois facteurs sont déterminants :

Taille de l'échantillon : Plus d'utilisateurs entraînent moins de bruit statistique
Stabilité des taux de conversion : Les grandes variations augmentent l'intervalle
Niveau de confiance : Un niveau plus élevé signifie un intervalle plus large

Plus la différence que tu veux mesurer est petite, plus tu as besoin de visiteurs pour obtenir un résultat solide.

Exemple : voici comment la différence attendue influence ta planification

Tu t'attends à une amélioration d'environ 1,5 point de pourcentage.
Quelle doit être la taille de ton échantillon par variante ?

Pour 4,0 % vs. 5,5 % : env. 3.500 visiteurs par variante
Pour 4,0 % vs. 4,5 % : env. 19.000 visiteurs par variante

Conclusion : Les petits effets nécessitent de grandes quantités de données. Si tu sous-estimes cela, tu obtiens des intervalles de confiance qui se chevauchent fortement et des résultats sur lesquels tu ne peux pas compter.

Recommandation pour la pratique

Planifie toujours les tests à l'envers : détermine l'effet minimum que tu veux démontrer et calcule la taille de l'échantillon nécessaire. Utilise pour cela un calculateur de signification. Ne commence pas à l'aveuglette, mais avec une plage d'objectifs claire pour la durée, la quantité de données et le niveau de confiance.

Les tests A/B sans planification de taille fondée ne produisent en cas de doute que du bruit statistique.

Les pièges de la pratique : les erreurs de raisonnement les plus fréquentes en matière d'intervalles de confiance

Même si les intervalles de confiance sont connus depuis longtemps, ils sont souvent mal compris ou mal appliqués dans la pratique. C'est justement dans le quotidien des tests que se produisent des erreurs de raisonnement typiques qui nuisent massivement à la pertinence d'un test.

Erreur de raisonnement 1 : confondre intervalle de confiance et certitude

Un intervalle de [4,3 % - 5,1 %] avec un niveau de confiance de 95 % ne signifie pas que la vraie valeur se trouve à coup sûr dans cet intervalle. Cela signifie que dans 5 cas sur 100, l'intervalle peut être à côté de la plaque, même si tu as tout calculé correctement.

Erreur de raisonnement 2 : arrêter le test dès que la significativité est atteinte

De nombreux outils indiquent très tôt un résultat "significatif". Celui qui s'arrête alors risque de commettre une erreur de premier type. Un test court avec un petit échantillon est sujet aux valeurs aberrantes. Sans intervalles de confiance stables, toute décision est prématurée.

Erreur de raisonnement 3 : comparer les intervalles de confiance comme des valeurs fixes

Une différence de 0,4 point de pourcentage peut être statistiquement pertinente ou non, selon la largeur de l'intervalle. Si l'on ne regarde que les moyennes et que l'on ignore les intervalles, on prend des décisions sur la base d'une précision apparente.

Erreur de raisonnement 4 : statistiquement significatif = pratiquement pertinent

Un effet peut être significatif, mais sans signification quant au contenu. Exemple : 0,2 point de pourcentage de différence pour un échantillon élevé. Statistiquement stable, mais peu pertinent sur le plan opérationnel. Les intervalles de confiance aident à évaluer conjointement l'effet et la taille.

Erreur de raisonnement 5 : comparer plusieurs variantes sans les adapter

Dans les tests multivariants, le risque d'erreurs de 1er type augmente avec chaque variante supplémentaire. En comparant des intervalles de confiance sans correction, on augmente inconsciemment la probabilité d'erreur. Pour cela, il faut un ajustement statistique propre (par ex. correction de Bonferroni ou design d'expérience contrôlé).

Conclusion & recommandations pour la pratique : comment utiliser les statistiques pour améliorer les tests

Les intervalles de confiance ne sont pas une connaissance supplémentaire pour les nerds en statistiques. Ils sont un outil central pour tous ceux qui veulent évaluer les tests A/B de manière fiable et prendre des décisions fondées.

Celui qui les ignore fait des tests à l'aveugle. Celui qui les utilise correctement reconnaît non seulement si un résultat est sûr, mais aussi à quel point il pourrait l'être et quelle pourrait être l'ampleur de l'effet réel.

Trois principaux enseignements

1. un seul pourcentage ne suffit pas
Sans intervalle de confiance, il manque un cadre pour classer correctement les résultats.

2. la significativité seule ne suffit pas
Statistiquement frappant n'est pas forcément pertinent sur le plan opérationnel. C'est la largeur de l'intervalle qui fait la différence.

3. la qualité du test dépend de la préparation
Si l'on ne planifie pas la taille, il est impossible de tirer des conclusions solides, même avec des statistiques propres.

Trois recommandations pour la pratique

1. vérifier sciemment les intervalles de confiance
Dans chaque rapport de test, fais attention à l'étroitesse des intervalles et au fait qu'ils se chevauchent ou non.

2. effectuer une planification de la taille avant le lancement du test
Utilise une calculatrice pour déterminer la taille de l'échantillon et la durée de l'enquête en fonction de tes attentes.

3. ne pas accepter les résultats des outils sans les vérifier
Remets en question ce que ton outil t'indique exactement et comment le calcul est effectué.

Celui qui comprend les intervalles de confiance teste avec clairvoyance et prend des décisions qui portent leurs fruits.

Plus d'articles sur l'A/B Testing

👉 A/B testing : fonctionnement, conseils et solutions
Un guide complet avec un mode d'emploi en 5 étapes pour des tests A/B efficaces - de l'hypothèse à l'évaluation.

👉 Test utilisateur : méthodes, processus & métriques
Découvre comment un véritable feedback des utilisateurs permet de prendre de meilleures décisions grâce à un test utilisateur ciblé.

👉 Optimisation efficace grâce aux tests multivariés
Apprends à tester plusieurs éléments en même temps afin d'identifier la meilleure combinaison.

👉 Les tests A/A expliqués : la validation pour des données fiables
Pourquoi les tests A/A sont importants pour valider ta configuration de test et assurer la qualité des données.

👉 10 Red Flags à éviter en matière d'A/B testing
Les erreurs les plus fréquentes en matière d'A/B testing et comment les éviter de manière ciblée.

👉 Big Query A/B Testing
Comment analyser efficacement les tests A/B au niveau des données avec BigQuery et Varify.io.

👉 Suivi côté serveur avec GTM & GA4
Plus de contrôle sur tes données grâce au suivi côté serveur avec Google Tag Manager et GA4.

👉 A/B testing pour Shopify : tout ce dont tu dois tenir compte
Stratégies intelligentes et conseils techniques pour réussir les tests A/B dans les boutiques Shopify.

👉 Test A/B de WordPress
Comment intégrer efficacement les tests A/B dans ton site WordPress.

👉 Test A/B des thèmes Shopify
Optimisation des thèmes Shopify grâce à des tests A/B ciblés pour de meilleurs taux de conversion.

Steffen Schulz

CPO Varify.io

Partager l'article !