- “Esperimenti illimitati” suona potente, ma il vero collo di bottiglia per un e-commerce in crescita non è il numero di test — è la progettazione dei test, il traffico per test e la capacità del team di interpretare i risultati.
- Il testing illimitato funziona davvero solo se puoi anche gestire gruppi mutualmente esclusivi, isolamento statistico e hai traffico sufficiente per variante per raggiungere una significatività attendibile.
- Tra le principali piattaforme, Varify (tariffa flat), Convert e Kameleoon offrono testing effettivamente illimitato all’interno del loro piano; Optimizely e AB Tasty applicano limiti basati sui termini contrattuali.
- Se il tuo store supera i €5M di fatturato annuo con oltre 200.000 visitatori mensili, il testing illimitato cambia davvero ciò che è possibile fare. Al di sotto, difficilmente supererai 12-20 test di qualità all’anno indipendentemente dal limite della piattaforma.
La promessa è ovunque: esperimenti illimitati, varianti illimitate, obiettivi illimitati. Per un brand e-commerce in crescita sembra esattamente ciò di cui hai bisogno — rimuovi i vincoli, lascia che il team si scateni, guarda i risultati accumularsi. La realtà è più sfumata. Il testing illimitato ha un valore reale, ma solo a determinati livelli di traffico, con determinate strutture di team e solo quando la piattaforma gestisce correttamente gli effetti collaterali (inquinamento dei test, isolamento statistico, carico di performance).
Questo articolo spiega cosa significa realmente “illimitato” nella pratica per i team e-commerce che crescono da €1M a €50M di fatturato — inclusa la matematica del traffico, la shortlist delle piattaforme e dove il testing illimitato cambia davvero ciò che è possibile rispetto a dove è solo uno slogan di marketing che non influenzerà la tua realtà.
Cosa significa realmente “esperimenti illimitati”
Piattaforme diverse intendono cose diverse con “illimitato.” Le quattro varianti:
1. Test attivi illimitati
Puoi avere un numero qualsiasi di test in esecuzione contemporaneamente. La piattaforma non limita gli esperimenti simultanei. La maggior parte delle piattaforme moderne ora lo offre nei piani medi e superiori.
2. Varianti illimitate per test
Puoi testare 10 varianti invece di essere limitato a 4. Utile per l’esplorazione del design, ma attenzione: con 10 varianti, ciascuna riceve il 10% del traffico di test, il che significa che hai bisogno di 10 volte il traffico per raggiungere la significatività. Spesso più potente in teoria che in pratica.
3. Obiettivi/metriche illimitati tracciati per test
Puoi tracciare entrate, AOV, tasso di aggiunta al carrello, tempo sulla pagina e altre 50 metriche per test. Quasi sempre eccessivo — tracciare troppe metriche secondarie aumenta il rischio di falsi positivi e rende l’interpretazione più difficile, non più facile.
4. Utenti testati illimitati (nessun prezzo basato sul traffico)
Il tipo di “illimitato” più genuinamente prezioso per l’e-commerce in crescita. La tua fattura non cambia quando il traffico cresce o raggiunge picchi durante le stagioni di punta. I prezzi a tariffa flat sono la versione adatta all’e-commerce.
Prezzi prevedibili per l’A/B testing mentre il tuo e-commerce cresce.
Varify applica una tariffa mensile fissa indipendentemente dal traffico. Esegui tutti i test che il tuo team può realizzare, senza che la tua fattura segua la tua crescita.
Quando il testing illimitato cambia davvero ciò che è possibile
Cambia le cose quando:
- Hai oltre 200.000 visitatori mensili. Al di sotto di questo, non hai traffico sufficiente per eseguire più di 4-6 test simultanei con potenza statistica. Il limite non è vincolante.
- Hai un team dedicato all’sperimentazione (2+ persone). Al di sotto di questo, non puoi generare abbastanza idee di test di qualità per riempire un programma illimitato. Il collo di bottiglia si sposta dalla piattaforma al team.
- Operi in più categorie o pagine. Un retailer multi-categoria può eseguire test simultanei su home, categoria, PDP e checkout senza sovrapposizioni. Un brand mono-prodotto non può.
- Hai picchi di traffico stagionali. Utenti testati illimitati (cioè prezzi a tariffa flat) sono genuinamente preziosi durante Black Friday, Cyber Monday e i principali eventi di vendita.
Non cambia le cose quando:
- Hai meno di 100.000 visitatori mensili. Esegui 6-12 test all’anno in ogni caso; il limite non è vincolante.
- Il tuo team è una persona che fa CRO part-time. L’ideazione dei test è il collo di bottiglia, non la capacità della piattaforma.
- Non hai un framework chiaro di prioritizzazione dei test. Capacità illimitata senza un backlog di ipotesi produce test non focalizzati e rumore.
La matematica del traffico per l’e-commerce in crescita
La significatività statistica richiede una dimensione minima del campione per variante. Ecco la matematica approssimativa:
- 5.000 visitatori per variante a settimana è approssimativamente la soglia minima per rilevare un incremento del 10% su un tasso di conversione del 2% (baseline tipica dell’e-commerce).
- Per un test A/B con split 50/50, servono 10.000 visitatori per test a settimana.
- Per 5 test simultanei su pagine diverse, hai bisogno di circa 50.000 visitatori settimanali che passano attraverso quelle pagine combinate.
- Per 20 test simultanei — il tipo di programma dove il testing illimitato conta — hai tipicamente bisogno di oltre 200.000 visitatori mensili con sufficiente diversità di pagine per evitare sovrapposizioni.
La maggior parte dei brand e-commerce in crescita raggiunge un tetto pratico intorno ai 6-15 test di qualità all’anno, indipendentemente dalla piattaforma. Ciò che “illimitato” offre oltre quel tetto è raramente il collo di bottiglia.
Quali piattaforme offrono effettivamente il testing illimitato
Varify — effettivamente illimitato all’interno del piano, tariffa flat
Il prezzo mensile fisso significa che il numero di utenti testati non è limitato. Nessun limite sui test attivi simultanei nel piano standard. Il focus su singola pagina significa che i test simultanei su pagine diverse non entrano in conflitto. Ottima soluzione per l’e-commerce europeo che necessita di prezzi prevedibili man mano che il traffico cresce.
Convert — test illimitati sulla maggior parte dei piani
La maggior parte dei piani include test e obiettivi illimitati. Il prezzo scala con gli utenti testati mensili, quindi “illimitato” si applica solo al numero di test, non al traffico.
Kameleoon — illimitato nel piano enterprise
Il piano standard offre test illimitati; il prezzo è enterprise. Forte sulla personalizzazione AI, che può aumentare l’efficienza su larga scala.
VWO — dipende dal piano, basato sul traffico
I piani VWO superiori includono test illimitati ma il prezzo scala con gli utenti testati mensili. Uno store ad alto traffico può raggiungere rapidamente una fattura molto più alta.
Optimizely — definito contrattualmente
Il numero di test e gli utenti testati sono negoziati nel contratto enterprise. “Illimitato” dipende da ciò che hai firmato.
AB Tasty — dipende dal piano
I piani premium includono test illimitati. Prezzo tipicamente enterprise.
Cosa aiuta davvero l’e-commerce in crescita più del testing illimitato
Se stai crescendo da €1M a €50M di fatturato, nella nostra esperienza questi fattori contano più del limite di test:
- Un framework chiaro di prioritizzazione dei test. ICE (Impact / Confidence / Ease) o PIE (Potential / Importance / Ease). Senza uno, il tuo team esegue test ad-hoc su qualsiasi cosa sembri urgente quella settimana.
- Una disciplina di progettazione dei test. Dichiarazione dell’ipotesi, singola metrica primaria, dimensione del campione definita, piano di analisi pre-registrato. Una progettazione approssimativa dei test spreca più incrementi di qualsiasi limite di test della piattaforma.
- Maturità statistica. Ferma i test alla significatività, non al primo giorno in cui sembrano un successo. Usa una soglia di confidenza appropriata alla tua tolleranza al rischio (tipicamente 90-95% unilaterale).
- Una libreria dell’apprendimento. Documenta ogni test — vincitori e perdenti — con l’ipotesi, la variante, il risultato e ciò che hai imparato. Questo si accumula nel corso degli anni.
- Prezzi prevedibili. Se stai crescendo, le sorprese dei prezzi basati sul traffico fanno male. La tariffa flat evita questo.
