{"id":24079,"date":"2025-10-15T18:57:10","date_gmt":"2025-10-15T16:57:10","guid":{"rendered":"https:\/\/varify.io\/?p=24079"},"modified":"2025-10-19T18:18:31","modified_gmt":"2025-10-19T16:18:31","slug":"multivariate-tests","status":"publish","type":"post","link":"https:\/\/varify.io\/it\/blog\/test-multivariati\/","title":{"rendered":"Test multivariati: perch\u00e9 sono (di solito) una cattiva idea e quando sono davvero utili"},"content":{"rendered":"
\n\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

I test multivariati (MVT) sembrano potenti a prima vista: \u00e8 possibile testare diversi elementi contemporaneamente e riconoscerne le interazioni.<\/p>

In pratica, per\u00f2, sono affamati di traffico<\/b>, complicati dal punto di vista statistico<\/b> e semplicemente troppo lenti<\/b> per la maggior parte dei siti web.<\/p>

Un MVT ha senso solo a partire da molte centinaia di migliaia di visitatori al mese<\/b> o tassi di conversione superiori a 5%<\/b>.<\/p>

Fino ad allora: Test A\/B\/n ben pianificati forniscono risultati validi pi\u00f9 rapidamente<\/strong>.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t

\n\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t

Cosa fanno i test multivariati<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

Un test multivariato testa diversi elementi contemporaneamente<\/strong>.<\/p>

Esempio:
Si testano 2 titoli \u00d7 2 immagini \u00d7 2 pulsanti \u2192 si ottengono cos\u00ec 8 combinazioni<\/strong>.<\/p>

Ogni combinazione ottiene la sua parte di traffico - solo 1\/8 dei visitatori se distribuiti uniformemente.<\/p>

Ed \u00e8 proprio qui che sta il problema: il traffico per variante si riduce drasticamente<\/strong>, e con esso la significativit\u00e0 dei vostri dati<\/strong>.<\/p>

Risultato: i test richiedono molto pi\u00f9 tempo<\/strong>, la significativit\u00e0 viene raggiunta pi\u00f9 tardi<\/strong> e nel frattempo si bloccano altri esperimenti<\/strong>.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t

\n\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t

Perch\u00e9 i test multivariati sono raramente utili<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t
\n\t\t
\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t
\n\t\t\t
\n\t\t\t<\/i>\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t
\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

1. il traffico \u00e8 distribuito su troppe varianti<\/h3>\nUn maggior numero di combinazioni significa che i visitatori sono distribuiti in molti gruppi.\n Questo riduce la potenza statistica (cio\u00e8 la capacit\u00e0 di riconoscere gli effetti reali).\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t
\n\t\t
\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t
\n\t\t\t
\n\t\t\t<\/i>\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t
\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

2. i test durano un'eternit\u00e0<\/h3>

Anche con 100.000 visitatori al mese, possono passare mesi<\/strong> prima di vedere un risultato, mentre con un semplice test A\/B avreste generato diversi insegnamenti validi molto tempo fa.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t

\n\t\t
\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t
\n\t\t\t
\n\t\t\t<\/i>\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t
\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

3. statistiche pi\u00f9 complesse e tasso di errore pi\u00f9 elevato<\/h3>

Ogni variante aggiuntiva aumenta il rischio di trovare casualmente un falso vincitore<\/strong> (questo si chiama accumulo di errori alfa<\/strong>).<\/p>

Pi\u00f9 test si fanno, maggiore \u00e8 la possibilit\u00e0 che una variante appaia accidentalmente migliore<\/strong>, anche se non lo \u00e8. Questo \u00e8 noto anche come \"problema del confronto multiplo\". Questo \u00e8 noto anche come \"problema del confronto multiplo\".<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t

\n\t\t
\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t
\n\t\t\t
\n\t\t\t<\/i>\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t
\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

4. Piccoli effetti, grandi sforzi<\/h3>\nGli MVT spesso mostrano solo effetti di regolazione fine, ad esempio che il pulsante A ha prestazioni minimamente migliori con il titolo B. In pratica, questi mini-effetti non sono abbastanza rilevanti da giustificare lo sforzo.\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t
\n\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t

Cosa significa veramente \"potere\" (spiegato in modo semplice)<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

La potenza<\/strong> di un test descrive la probabilit\u00e0 di rilevare effettivamente un effetto reale<\/strong>.<\/p>

Ad esempio, se un test ha una potenza di 80 %<\/strong>, significa che se esiste una differenza reale, la si trover\u00e0 anche statisticamente in 8 casi su 10<\/strong>.<\/p>

In 2 casi su 10 (20 %) si potrebbe falsamente credere che non vi sia alcun effetto<\/strong>.<\/p>

Pi\u00f9 piccolo \u00e8 l'innalzamento, pi\u00f9 visitatori<\/strong> sono necessari per mantenere lo stesso valore di potenza.<\/p>

Un MVT con 8 combinazioni ha quindi bisogno di molto pi\u00f9 traffico<\/strong> per ottenere la stessa potenza di un semplice A\/B test.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t

\n\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t

Perch\u00e9 avete bisogno di almeno 500 conversioni per variante<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

Una regola approssimativa della pratica CRO \u00e8 la seguente:<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t

\n\t\t\t\t
\n\t\t\t\t\t\t\t
\n\t\t\t

\n\t\t\t\tSono necessarie almeno 500 conversioni per variante per poter fare una dichiarazione ragionevolmente stabile.\t\t\t<\/p>\n\t\t\t\t\t<\/blockquote>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t

\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

Le ragioni sono tre:<\/p>

  1. I tassi di conversione sono estremamente fluttuanti con campioni molto piccoli: piccole coincidenze possono falsare il risultato.<\/li>
  2. Gli strumenti non possono eseguire test di significativit\u00e0 puliti se gli eventi per variante sono troppo piccoli.<\/li>
  3. A partire da circa 500 conversioni, la distribuzione si stabilizza in modo tale da rendere visibili anche piccole differenze.<\/li><\/ol>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
    \n\t\t\t\t
    \n\t\t\t\t\t\t\t\t\t

    Importante:<\/strong> Questo vale per variante<\/strong>, cio\u00e8 anche per ogni combinazione in un MVT.<\/p>

    Se avete 8 combinazioni, avete bisogno di almeno 8 \u00d7 500 = 4000 conversioni<\/strong> solo per soddisfare il requisito di base.<\/p>

    A seconda del tasso di conversione, questo pu\u00f2 attrarre rapidamente centinaia di migliaia di visitatori<\/strong>.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t

    \n\t\t\t\t\t
    \n\t\t\t\t
    \n\t\t\t\t
    \n\t\t\t\t\t

    L'errore alfa: perch\u00e9 pi\u00f9 varianti aumentano il rischio<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
    \n\t\t\t\t
    \n\t\t\t\t\t\t\t\t\t

    L'errore alfa (errore del primo tipo)<\/strong> descrive la probabilit\u00e0 di identificare erroneamente una variante come vincente<\/strong>, anche se non c'\u00e8 alcuna differenza reale.<\/p>

    Un esempio:
    Se si lavora con un livello di significativit\u00e0 di 5 % (\u03b1=0,05\\alpha=0{,}05\u03b1=0,05), ci\u00f2 significa che<\/p>