Calculadora de Significância para Testes A/B

Executaste um teste A/B — agora verifica se o resultado é estatisticamente significativo. Insere os visitantes e conversões do teu controlo (A) e da tua variação (B), escolhe um nível de confiança e obtém instantaneamente a taxa de conversão, o uplift, a significância e o valor p.

Visitantes do Controlo

Conversões do Controlo

Visitantes da Variação

Conversões da Variação

Nível de Confiança

Aviso: foi detetada uma possível incompatibilidade na proporção de amostras (SRM). O tráfego do teu controlo e da variação diferem em mais de 10% — verifica a divisão entre baseline e variação antes de confiar no resultado.

Insere os teus visitantes e conversões acima, depois clica em Calcular para ver o resultado e o gráfico de distribuição.

O que a calculadora te diz

Três respostas com um clique — sem planilhas, sem precisar de um diploma em estatística.

Taxa de conversão e uplift

Vê a taxa de conversão de ambas as versões lado a lado e o aumento relativo da tua variação em relação ao controlo.

Significância estatística

Um teste qui-quadrado indica se a diferença é real ou apenas ruído, ao nível de confiança que escolheres (90%, 95% ou 99%).

Verificação de Sample Ratio Mismatch

Uma verificação automática de SRM assinala quando a divisão de tráfego está incorreta — uma causa comum de resultados de teste enganosos.

Compreender a significância dos testes A/B

Quando é que o resultado do meu teste A/B é significativo?

Um resultado é estatisticamente significativo quando a diferença entre o teu controlo e a variação é improvável de ser causada pelo acaso. Define o quão rigoroso é esse critério através do nível de confiança: a 95%, o resultado conta como significativo assim que a calculadora atinge pelo menos 95% de confiança.

Exemplo prático: o controlo (A) tem 85.000 visitantes e 3.326 conversões — uma taxa de conversão de 3,91%. A variação (B) tem 83.000 visitantes e 3.403 conversões — uma taxa de conversão de 4,10%, um aumento de 4,78%. O resultado ultrapassa o limiar de 95% (cerca de 97,5% de confiança), pelo que este teste é significativo.

O que é o p-valor?

O p-valor é a probabilidade de observar uma diferença pelo menos tão grande se a variação não tivesse nenhum efeito real. Um p-valor menor significa evidência mais forte. Com um nível de confiança de 95%, procuras um p-valor de 0,05 ou inferior. Esta calculadora apresenta um p-valor unilateral — testa se a variação é melhor do que o controlo na direção observada.

Qual nível de confiança devo escolher?

95% é o padrão mais comum na otimização de conversão — um bom equilíbrio entre identificar vencedores reais e evitar falsos positivos. Escolhe 99% quando uma decisão errada teria um custo elevado e queres ter a certeza absoluta; 90% apenas para leituras preliminares de baixo risco, onde aceitas uma maior incerteza.

O que é um Sample Ratio Mismatch (SRM)?

O SRM ocorre quando os visitantes não são divididos entre o controlo e a variação da forma que planeaste (por exemplo, uma divisão 50/50 que acaba em 55/45). Normalmente aponta para um problema técnico — problemas de redirecionamento, bots ou lacunas no rastreamento — e pode invalidar silenciosamente o teu resultado. Se a calculadora detetar um SRM, corrige a divisão antes de confiares em qualquer valor de significância.

Um resultado significativo é suficiente para lançar a variação?

A significância indica que a diferença é provavelmente real, não que seja relevante para o teu negócio ou estável ao longo do tempo. Considera também o tamanho do aumento, a duração do teste (cobrindo ciclos de negócio completos), o tamanho da amostra e se o resultado se mantém nos segmentos principais antes de implementar uma variação para todos.