Come Varify calcola la significatività
Indice dei contenuti
Breve e dolce
L'articolo spiega come Varify analizza statisticamente i risultati dei test. Per impostazione predefinita, viene utilizzato un metodo frequentista con test unilaterali, che mostra rapidamente se una variante ha prestazioni migliori. Nel piano Pro sono disponibili anche un metodo frequentista a due lati e un metodo bayesiano. Il metodo bayesiano mostra anche una previsione del tempo di esecuzione che stima quando viene raggiunta la significatività 95 %. Spiega inoltre perché tempi di esecuzione più lunghi e poche metriche, soprattutto nei test A/A, sono importanti per evitare decisioni sbagliate per caso.
Calcolo della significatività in app.varify.io
Per impostazione predefinita, Varify utilizza un metodo statistico frequentista per valutare i risultati dei test. Questo metodo calcola la probabilità che la differenza tra la variante e l'originale sia dovuta al caso. Se il caso può essere escluso per quanto possibile, Varify visualizza il reciproco del valore p calcolato, la cosiddetta significatività. Se questo è superiore a 95 %, il risultato viene visualizzato come significativo nello strumento.
I metodi statistici in sintesi
Varify offre tre metodi statistici per l'analisi degli A/B test. I metodi disponibili dipendono dal piano selezionato.
Test frequentista unilaterale (standard)
Per impostazione predefinita, Varify utilizza due test statistici unilaterali consolidati:
- Per gli obiettivi binomiali (ad esempio, tasso di clic, tasso di conversione) si utilizza un test chi-quadro unilaterale.
- Per le metriche di vendita o di valore (ad esempio, valore medio dell'ordine, entrate per visitatore), si utilizza un test t unilaterale di Student.
Questi test unilaterali sono stati scelti deliberatamente. Forniscono risultati più rapidamente perché calcolano in modo meno conservativo rispetto ai metodi a due facce. In questo modo è possibile capire prima se una variante è in grado di ottenere risultati migliori.
Naturalmente, questo ha anche un lato negativo: se un test viene eseguito per un periodo di tempo molto breve o se vengono analizzate molte metriche contemporaneamente, aumenta la possibilità di un falso positivo, ovvero di un risultato che sembra significativo, ma che in realtà è solo una coincidenza.
Test frequentista a due facce (piano Pro)
Nel piano Pro, in alternativa, è possibile passare a un metodo frequentista a due facce. Vengono utilizzati gli stessi test statistici (chi-quadrato o t-test di Student), ma in una variante a due lati. La differenza: un test a due facce non solo verifica se una variante è migliore, ma anche se ha prestazioni peggiori. Il metodo è più conservativo e in genere richiede più dati per raggiungere la significatività, ma fornisce un risultato più robusto in entrambe le direzioni.
Metodo bayesiano (per piano)
Il metodo bayesiano è disponibile anche nel piano Pro. A differenza dell'approccio frequentista, non calcola i valori di p, ma la probabilità che una variante sia migliore dell'originale. Questo spesso rende i risultati più intuitivi da interpretare.
Un ulteriore vantaggio: con il metodo bayesiano, Varify visualizza una previsione del tempo di esecuzione che stima quando è probabile che venga raggiunta la significatività 95 %. Ciò consente di stimare meglio, durante il test, la durata del test stesso.
Le migliori pratiche per ottenere risultati affidabili
Indipendentemente dal metodo scelto, è meglio eseguire i test per un periodo di tempo più lungo, in modo che i risultati si stabilizzino e si possa giudicare in modo più affidabile se una variante è davvero migliore.
Per i test A/A, in particolare, è importante aggiungere solo pochi obiettivi. L'accumulo di errori alfa aumenta la probabilità di un falso positivo con ogni metrica aggiuntiva, ovvero un presunto vincitore che in realtà non è tale.
Le migliori pratiche per i test A/A:
- Durata: almeno 10 giorni
- Almeno 500 conversioni per variante
- Aggiungere un massimo di 3 obiettivi, concentrandosi sul KPI principale.
- I valori di significatività intermedi devono essere ignorati: ciò che conta è il risultato finale. Questo è l'unico modo per mantenere basso il tasso di falsi positivi e rendere i risultati veramente affidabili.
Calcolo proprio della significatività utilizzando un calcolatore di significatività
Verifica che i risultati dei tuoi test A/B non presentino differenze significative. Varify.io fornisce a questo scopo un calcolatore di significatività.
