- “Tests illimités” semble puissant, mais le véritable goulot d'étranglement pour l'e-commerce en croissance n'est pas le nombre de tests — c'est la conception des tests, le trafic par test et la capacité de l'équipe à interpréter les résultats.
- Le testing illimité n'apporte de valeur que si tu peux aussi gérer des groupes mutuellement exclusifs, l'isolation statistique, et que tu as suffisamment de trafic par variante pour obtenir une significativité probante.
- Parmi les principales plateformes, Varify (tarif forfaitaire), Convert et Kameleoon offrent un testing effectivement illimité dans leur formule ; Optimizely et AB Tasty plafonnent selon les termes du contrat.
- Si ton site fait plus de 5M€ de CA avec 200k+ visiteurs mensuels, le testing illimité change vraiment ce qui est possible. En dessous, tu plafonneras probablement à 12-20 tests de qualité par an, quel que soit le plafond de la plateforme.
L'argument est partout : tests illimités, variantes illimitées, objectifs illimités. Pour une marque e-commerce en croissance, ça semble exactement ce dont tu as besoin — supprimer les contraintes, laisser l'équipe s'exprimer, voir les gains s'accumuler. La réalité est plus nuancée. Le testing illimité a une vraie valeur, mais seulement à certains niveaux de trafic, avec certaines structures d'équipe, et seulement quand la plateforme de test gère correctement les effets secondaires (pollution des tests, isolation statistique, charge de performance).
Cet article décortique ce que “illimité” signifie réellement en pratique pour les équipes e-commerce qui passent de 1M€ à 50M€ de CA — incluant les calculs de trafic, la liste restreinte des plateformes, et où le testing illimité change vraiment ce qui est possible vs. où c'est un argument marketing qui n'affectera pas ta réalité.
Ce que “tests illimités” signifie vraiment
Les différentes plateformes n'entendent pas la même chose par “illimité”. Voici les quatre variantes :
1. Tests actifs illimités
Tu peux avoir n'importe quel nombre de tests en cours simultanément. La plateforme ne plafonne pas les expériences concurrentes. La plupart des plateformes modernes l'offrent désormais dans leurs formules intermédiaires et supérieures.
2. Variantes illimitées par test
Tu peux tester 10 variantes au lieu d'être plafonné à 4. Utile pour l'exploration de design, mais attention : avec 10 variantes, chacune reçoit 10% du trafic de test, ce qui signifie qu'il te faut 10x plus de trafic pour atteindre la significativité. Souvent plus puissant en théorie qu'en pratique.
3. Objectifs/métriques trackés illimités par test
Tu peux tracker le revenu, le panier moyen, le taux d'ajout au panier, le temps sur la page et 50 autres métriques par test. Presque toujours excessif — tracker trop de métriques secondaires augmente le risque de faux positifs et rend l'interprétation plus difficile, pas plus facile.
4. Utilisateurs testés illimités (pas de tarification basée sur le trafic)
Le type d'“illimité” le plus véritablement précieux pour l'e-commerce en croissance. Ta facture ne change pas quand le trafic augmente ou bondit pendant les pics saisonniers. La tarification forfaitaire est la version adaptée à l'e-commerce.
Tarification A/B testing prévisible à mesure que ton e-commerce grandit.
Varify facture un tarif mensuel forfaitaire quel que soit le trafic. Lance autant de tests que ton équipe peut en produire, sans que ta facture suive ta croissance.
Quand le testing illimité change vraiment ce qui est possible
Ça change les choses quand :
- Tu as 200k+ visiteurs mensuels. En dessous, tu n'as pas assez de trafic pour lancer plus de 4-6 tests simultanés avec une puissance statistique. Le plafond n'est pas contraignant.
- Tu as une équipe dédiée à l'expérimentation (2+ personnes). En dessous, tu ne peux pas générer assez d'idées de tests de qualité pour alimenter un programme illimité. Le goulot d'étranglement passe de la plateforme à l'équipe.
- Tu opères dans plusieurs catégories ou pages. Un retailer multi-catégories peut lancer des tests sur l'accueil, les catégories, les fiches produits et le tunnel simultanément sans chevauchement. Une marque mono-produit ne peut pas.
- Tu as des pics de trafic saisonniers. Les utilisateurs testés illimités (tarification forfaitaire) sont vraiment précieux pendant le Black Friday, le Cyber Monday et les grandes promotions.
Ça ne change pas les choses quand :
- Tu es en dessous de 100k visiteurs mensuels. Tu lances 6-12 tests par an de toute façon ; le plafond n'est pas contraignant.
- Ton équipe est une personne qui fait du CRO à temps partiel. L'idéation de tests est le goulot d'étranglement, pas la capacité de la plateforme.
- Tu n'as pas de cadre clair de priorisation des tests. Une bande passante illimitée sans backlog d'hypothèses produit des tests dispersés et du bruit.
Les calculs de trafic pour l'e-commerce en croissance
La significativité statistique nécessite une taille d'échantillon minimale par variante. Voici le calcul approximatif :
- 5 000 visiteurs par variante par semaine est environ le minimum pour détecter une augmentation de 10% sur un taux de conversion de 2% (baseline typique e-commerce).
- Pour un test A/B avec une répartition 50/50, c'est 10 000 visiteurs par test par semaine.
- Pour 5 tests simultanés sur différentes pages, tu as besoin d'environ 50 000 visiteurs hebdomadaires passant par ces pages combinées.
- Pour 20 tests simultanés — le type de programme où le testing illimité compte — tu as généralement besoin de 200 000+ visiteurs mensuels avec suffisamment de diversité de pages pour éviter les chevauchements.
La plupart des marques e-commerce en croissance atteignent un plafond pratique d'environ 6-15 tests de qualité par an, quelle que soit la plateforme. Ce que l'“illimité” offre au-delà de ce plafond est rarement le goulot d'étranglement.
Quelles plateformes offrent vraiment le testing illimité
Varify — effectivement illimité dans la formule, tarif forfaitaire
La tarification mensuelle forfaitaire signifie que le nombre d'utilisateurs testés ne plafonne pas. Pas de limite sur les tests actifs simultanés dans la formule standard. L'accent sur la page unique signifie que les tests simultanés sur différentes pages n'entrent pas en conflit. Très adapté pour l'e-commerce européen qui a besoin d'une tarification prévisible à mesure que le trafic augmente.
Convert — tests illimités sur la plupart des formules
La plupart des formules incluent des tests et objectifs illimités. La tarification évolue avec les utilisateurs testés mensuels, donc “illimité” ne s'applique qu'au nombre de tests, pas au trafic.
Kameleoon — illimité dans la formule entreprise
La formule standard offre des tests illimités ; la tarification est entreprise. Fort sur la personnalisation IA, qui peut améliorer l'efficacité à grande échelle.
VWO — dépend de la formule, basé sur le trafic
Les formules VWO supérieures incluent des tests illimités mais la tarification évolue avec les utilisateurs testés mensuels. Un site à fort trafic peut rapidement atteindre une facture bien plus élevée.
Optimizely — défini contractuellement
Les nombres de tests et d'utilisateurs testés sont négociés dans le contrat entreprise. L'“illimité” dépend de ce que tu as signé.
AB Tasty — dépend de la formule
Les formules premium incluent des tests illimités. Tarification généralement entreprise.
Ce qui aide vraiment l'e-commerce en croissance plus que le testing illimité
Si tu passes de 1M€ à 50M€ de CA, d'après notre expérience ces facteurs comptent plus que le plafond de tests :
- Un cadre clair de priorisation des tests. ICE (Impact / Confiance / Facilité) ou PIE (Potentiel / Importance / Facilité). Sans cela, ton équipe lance des tests ad hoc sur ce qui semble urgent cette semaine.
- Une discipline de conception de tests. Énoncé d'hypothèse, métrique primaire unique, taille d'échantillon définie, plan d'analyse pré-enregistré. Une conception bâclée gaspille plus de gains que n'importe quel plafond de tests de plateforme.
- Maturité statistique. Arrête les tests à la significativité, pas au premier jour où ils semblent gagnants. Utilise un seuil de confiance approprié à ta tolérance au risque (généralement 90-95% unilatéral).
- Une bibliothèque d'apprentissage. Documente chaque test — gagnants et perdants — avec l'hypothèse, la variante, le résultat et ce que tu as appris. Ça se capitalise sur les années.
- Tarification prévisible. Si tu es en croissance, les surprises de tarification basée sur le trafic font mal. Le forfait évite ça.
