O teste A/A mostra resultados significativos

Um teste A/A é usado para verificar a confiabilidade da configuração do teste. Duas variantes idênticas são testadas uma contra a outra. Teoricamente, as duas variantes devem obter os mesmos resultados. Se um teste A/A mostrar uma resultado significativo geralmente indica que não em um efeito real, mas em Causas estatísticas ou técnicas lá.

1. importância da significância no teste A/A

O Varify avalia os resultados dos testes com um abordagem frequentista.
Quando o Coincidência amplamente descartada o recíproco do valor p como Importância exibido.
Se esse valor estiver acima de 95 %, Varify mostra um resultado significativo para.

Em um teste A/A, no entanto, isso não significa que uma variante seja realmente „melhor“, mas que os dados são distribuídos aleatoriamente de forma que a probabilidade de uma diferença pareça maior do que realmente é.

2. causas comuns de um resultado „falso“ significativo

a) Prazo muito curto
Com poucos dados, o acaso ainda pode ter um efeito forte. Uma deflexão significativa de curto prazo é normal e não é um sinal confiável.

b) Muitos gols
Cada alvo adicional aumenta a probabilidade de um chamado Erro alfa. Isso significa que a chance de uma diferença ser encontrada em algum lugar por acaso aumenta com o número de métricas.

c) Alocação desigual de tráfego
Se os visitantes não forem distribuídos igualmente entre as variantes (por exemplo, por meio de cache, tráfego de bots ou reprodução incompleta), o resultado poderá ser distorcido.

d) Amostra muito pequena
As métricas flutuam muito com baixos números de conversão. Uma diferença de apenas algumas conversões pode levar a um significado aparentemente alto.

3. Práticas recomendadas para testes A/A

Para garantir que os testes A/A forneçam resultados confiáveis, recomendamos

• Tempo de duração: pelo menos 10 dias

• Volume de dados: pelo menos 500 conversões por variante

• Metas: máximo 3 Métricas, com foco nos principais KPIs

• Ignore os resultados intermediários: Os valores de significância podem flutuar durante o período. Somente os Resultado final ao término do teste é significativo.

Isso garante que a influência do acaso permaneça baixa e que a análise forneça resultados realistas.

4. Conclusão

Um resultado significativo em um teste A/A significa, na maioria dos casos Nenhum sinal real, mas está limitado a Configuração aleatória ou de teste atribuível.
Somente quando dados suficientes são coletados durante um período mais longo e o acaso pode ser estatisticamente excluído é que um resultado é realmente confiável.