Inicie um teste A/A e verifique o rastreamento
Tabela de conteúdo
Curto e agradável
Para verificar sua configuração de rastreamento no GA4, vá para o relatório em tempo real e procure o evento "Abtesting". Clique nele e verifique se o parâmetro "varify_abTestShort" está presente. Ao iniciar um teste A/A. Se o evento estiver ausente, verifique a integração do snippet Varify e as configurações de rastreamento.
Tutorial passo a passo
Criar teste A/A e rastreamento de teste
1. criar o teste A/A
Um teste A/A funciona como um teste A/B e atribui aos usuários duas variantes, sem nenhuma alteração visível real. Isso permite que você teste de forma otimizada a configuração de rastreamento.
Pré-requisito:
O snippet de código do Varify já deve estar integrado em seu site e o rastreamento configurado.
- Crie uma nova variante/experimento abrindo a página inicial de seu site por meio do painel do Varify.io, por exemplo.
- Clique no símbolo de código no canto superior direito e selecione CSS.
- Insira alguns espaços na janela e clique em Save (isso significa que não há alterações visíveis para os usuários).
- Salve a variante no canto superior direito em "Finish" (Concluir) e nomeie-a como teste A/A.
- Clique na página de destino do teste A/A no painel e, em seguida, em "Edit Conditions" (Editar condições).
- Insira seu domínio e defina o Matching Type como "Contains" (isso fornecerá o maior número de dados para o teste A/A, pois ele será exibido para todos os usuários do seu site).
- Inicie o teste A/A.
8. vá para qualquer página do seu site e verifique se o teste AA está sendo entregue. A maneira mais fácil de fazer isso é abrir a página Extensão do navegador do Google Chrome para Varify e verifique se o teste AA está listado em "Active Experiments" (Experimentos ativos). (Pode levar até 2 minutos após a ativação do teste para que você veja o experimento. Recarregue a página adequadamente).
2. verificar eventos ao vivo no GA4
Depois que o snippet Varify tiver sido integrado, o rastreamento tiver sido configurado e um teste A/A tiver sido iniciado, você poderá verificar na Visão geral em tempo real do GA4 se os eventos do seu teste A/A estão chegando.
- No GA4, vá para a Visão geral em tempo real em Relatórios.
- Procure o widget "Event count by Event Name" (Contagem de eventos por nome do evento).
- Verifique se um evento chamado "Abtesting" é exibido (talvez seja necessário clicar nas páginas do widget).
- Clique nesse evento para abrir os parâmetros.
- Verifique se o parâmetro "varify_abTestShort" está disponível (talvez seja necessário clicar nas páginas do widget).
- Clique no parâmetro e verifique se o parâmetro que consiste em ID do experimento e ID da variante é exibido corretamente
Se esse parâmetro estiver visível e correto, o rastreamento está configurado corretamente.
(Opcional) Verifique os eventos de verificação no DataLayer
Se nenhum evento ao vivo estiver visível no GA4, você poderá verificar no console do desenvolvedor do seu navegador se os eventos de rastreamento do Varify estão sendo reproduzidos corretamente no DataLayer.
É assim que você deve proceder:
- Abra uma página na qual seu teste A/A esteja ativo.
- Abra o console do desenvolvedor do seu navegador: No Chrome: clique com o botão direito do mouse na página → "Explorar" → selecione a guia "Console".
- Digite dataLayer no console e pressione Enter.
- Pesquise no DataLayer por um evento com o nome "varify".
- Desdobre o evento - aqui você encontrará todos os parâmetros e informações relevantes sobre o experimento, por exemplo
Nome do experimento
Variante em que você está
3. importante para a avaliação dos testes A/A
Como realizar um teste A/A corretamente
Um teste A/A merece o mesmo cuidado que um teste A/B comum. Planeje uma duração de teste de pelo menos uma semana ou até cerca de 1.000 conversões por variante, dependendo do que ocorrer primeiro. Defina uma métrica principal e só avalie o teste no momento previamente determinado. Se, ao final, não houver diferença significativa (p > 0,05), você pode partir do princípio de que sua configuração está funcionando corretamente.
Utilize eventos em vez de métricas ou eventos-chave
Nos testes A/B, o que geralmente interessa é saber se um usuário atinge uma meta. O GA4, tradicionalmente, não mede com base no usuário, mas sim com base em eventos; portanto, um usuário pode acionar uma meta (um evento) várias vezes. No entanto, as métricas e os eventos-chave não podem ser avaliados por meio da API do GA4 com base no princípio de “uma vez por usuário”; essa é uma limitação da própria API do GA4. Testes automatizados ou bots podem acionar eventos com frequência especialmente elevada. Se um bot desse tipo acabar, por acaso, em apenas uma variante, isso distorce consideravelmente a comparação. Portanto, realize a análise sempre com base em eventos, utilizando a configuração “Excluir eventos duplicados do usuário”, para que uma meta seja contabilizada no máximo uma vez por usuário.
Menos é mais: escolha as métricas com sabedoria
Evite analisar muitas métricas ao mesmo tempo. Quanto mais métricas você analisar, maior será a probabilidade dos chamados falsos positivos, ou seja, diferenças aparentemente significativas que, na verdade, nem existem. Um exemplo: com 14 métricas, a probabilidade de haver pelo menos um falso positivo é de cerca de 51%, mesmo que você utilize um nível de significância de 5% para cada métrica individualmente. Portanto, é mais provável que você identifique um falso positivo do que não identifique nenhum.
Importante: não dê uma olhada antes da hora
Testes provisórios repetidos também podem distorcer muito a significância do seu teste. Isso ocorre porque cada análise adicional dos resultados aumenta a probabilidade de um resultado aleatório ser falsamente interpretado como significativo.
- 7 exames intermediários (por exemplo, diariamente durante uma semana): risco de cerca de 30% de um falso positivo
- 14 exames intermediários (por exemplo, diariamente durante duas semanas): risco de cerca de 51% de um falso positivo
Conclusão: só encerre seu teste na data prevista, mesmo que, aparentemente, “algo aconteça” antes disso. Quem interrompe o teste prematuramente corre o risco de tomar uma decisão errada com base em um falso positivo.