Come Varify calcola la significatività
Indice dei contenuti
Breve e dolce
L'articolo spiega come Varify analizzi i risultati dei test con un metodo frequentista, utilizzando il chi-quadro unilaterale e i t-test per individuare più rapidamente la significatività. Spiega inoltre perché tempi di esecuzione più lunghi e poche metriche, soprattutto nei test A/A, sono importanti per evitare decisioni sbagliate dovute al caso.
Calcolo della significatività in app.varify.io
Varify utilizza un sistema statistico per valutare i risultati dei test. metodo frequentista. Calcola la probabilità che la differenza tra la variante e l'originale sia nata per caso. Se il caso può essere escluso per quanto possibile, Varify visualizza il valore reciproco del p-value calcolato il cosiddetto Significato. È questo maggiore di 95 %, il risultato viene visualizzato nello strumento come significativo visualizzato.
Per valutare i risultati nel modo più efficiente possibile, Varify utilizza due test statistici consolidati:
Per gli obiettivi binomiali (ad esempio, tasso di click-through, tasso di conversione), una test chi-quadro unilaterale utilizzato.
Per le metriche di vendita o di valore (ad es. valore medio dell'ordine, fatturato per visitatore) viene utilizzato per calcolare un valore di test t unilaterale per studenti utilizzato.
Questi test unilaterali sono stati scelti deliberatamente. Essi forniscono risultati più rapidi, perché calcolano in modo meno conservativo rispetto ai metodi a due facce. In questo modo i clienti possono capire prima se una variante è in grado di ottenere risultati migliori.
Naturalmente c'è anche un aspetto negativo: se un test corre molto poco o molte metriche allo stesso tempo analizzati, la possibilità di una cosiddetta Falso positivo - cioè un risultato che sembra essere significativo, anche se in realtà si è trattato solo di una coincidenza.
Pertanto:
👉 Meglio fare un test un po' più lungo, in modo che i risultati si stabilizzino e si possa giudicare in modo più affidabile se una variante è davvero migliore.
Soprattutto per Test A/A è importante che solo Poche destinazioni aggiungere. Attraverso il cosiddetto Accumulo di errori alfa ogni metrica aggiuntiva aumenta la probabilità che una Falso positivo in altre parole, un presunto vincitore che in realtà non è tale.
Le migliori pratiche per i test A/A:
Durata: almeno 10 giorni
Almeno 500 conversioni per variante
Massimo 3 destinazioni con particolare attenzione alla KPI principali
I valori di significatività che si verificano nel mezzo dovrebbero essere ignorato Ciò che conta è il risultato finale. Questo è l'unico modo per mantenere basso il tasso di falsi positivi e rendere i risultati veramente affidabili.
Calcolo proprio della significatività utilizzando un calcolatore di significatività
Verifica che i risultati dei tuoi test A/B non presentino differenze significative. Varify.io fornisce a questo scopo un calcolatore di significatività.
