Il test A/A mostra risultati significativi
Indice dei contenuti
Come riconoscere l'errore
Il vostro test A/A mostra un risultato significativo per una o più metriche dopo alcuni giorni.
Come correggere l'errore
Un test A/A viene utilizzato per verificare l'affidabilità dell'impianto di prova. Due varianti identiche vengono messe a confronto. In teoria, entrambe le varianti dovrebbero ottenere gli stessi risultati. Se un test A/A mostra un risultato significativo di solito indica che non su un effetto reale, ma su Cause statistiche o tecniche lì.
1. importanza della significatività nel test A/A
Varify valuta i risultati dei test con un approccio frequentista.
Quando il La coincidenza è ampiamente esclusa il reciproco del valore p come Significato visualizzato.
Se questo valore è superiore a 95 %, Varify mostra un risultato significativo a.
In un test A/A, tuttavia, ciò non significa che una variante sia effettivamente „migliore“, ma che i dati sono distribuiti casualmente in modo tale da far apparire la probabilità di una differenza maggiore di quanto non sia in realtà.
2. cause comuni di un „falso“ risultato significativo
a) Termine troppo breve
Con un numero di dati troppo basso, il caso può ancora avere un forte effetto. Una deviazione significativa a breve termine è normale e non è un segnale affidabile.
b) Troppi gol
Ogni bersaglio aggiuntivo aumenta la probabilità di un cosiddetto Errore alfa. Ciò significa che la possibilità di trovare una differenza per caso aumenta con il numero di metriche.
c) Assegnazione disomogenea del traffico
Se i visitatori non sono distribuiti in modo uniforme tra le varianti (ad esempio, a causa di caching, traffico bot o playout incompleto), il risultato può essere falsato.
d) Campione troppo piccolo
Le metriche fluttuano notevolmente con cifre di conversione basse. Una differenza di poche conversioni può portare a un significato apparentemente elevato.
3. le migliori pratiche per i test A/A
Per garantire che i test A/A forniscano risultati affidabili, si raccomanda di
Durata: almeno 10 giorni
Volume dei dati: almeno 500 conversioni per variante
Obiettivi: massimo 3 Metriche, con un focus sui principali KPI
Ignorare i risultati intermedi: I valori di significatività possono fluttuare nel corso del periodo. Solo il Risultato finale al termine del test è significativo.
Ciò garantisce che l'influenza del caso rimanga bassa e che l'analisi fornisca risultati realistici.
4. conclusione
Un risultato significativo in un test A/A significa nella maggior parte dei casi Nessun segnale reale, ma è limitato a Configurazione casuale o di prova attribuibile.
Solo quando sono stati raccolti dati sufficienti su un periodo di tempo più lungo e si può escludere statisticamente il caso, un risultato è davvero affidabile.