Teste A/A mostra resultados significativos
Como reconhecer o erro
O teu teste A/A mostra um resultado significativo para uma ou mais métricas após alguns dias.
Como corrigir o erro
Um teste A/A é usado para verificar a confiabilidade da configuração do teste. Duas variantes idênticas são testadas uma contra a outra. Teoricamente, ambas as variantes deveriam alcançar os mesmos resultados. Se um teste A/A mostra um resultado significativo, isso geralmente indica que não se trata de um efeito real, mas sim de causas estatísticas ou técnicas.
1. importância da significância no teste A/A
A Varify avalia os resultados dos testes com uma abordagem frequentista.
Quando a coincidência é amplamente descartada, o recíproco do valor-p é exibido como Significância.
Se esse valor estiver acima de 95 %, a Varify mostra um resultado significativo.
Em um teste A/A, no entanto, isso não significa que uma variante seja realmente „melhor“ - mas sim que os dados estão distribuídos aleatoriamente de tal forma que a probabilidade de uma diferença parece maior do que realmente é.
2. causas comuns para um resultado „falsamente“ significativo
a) Prazo muito curto
Com poucos dados, o acaso ainda pode ter um efeito forte. Um desvio significativo a curto prazo é normal e não é um sinal fiável.
b) Demasiadas metas
Cada meta adicional aumenta a probabilidade do chamado erro Alfa. Isto significa que a probabilidade de se encontrar uma diferença em algum lugar por acaso aumenta com o número de métricas.
c) Distribuição de tráfego desigual
Se os visitantes não forem distribuídos uniformemente pelas variantes (por exemplo, devido a caching, tráfego de bots ou distribuição incompleta), o resultado pode ficar distorcido.
d) Amostra demasiado pequena
As métricas flutuam bastante quando os números de conversão são baixos. Uma diferença de apenas algumas conversões pode originar uma significância aparentemente elevada.
3. melhores práticas para testes A/A
Para garantir que os testes A/A forneçam resultados confiáveis, recomendamos
- Tempo de execução: pelo menos 10 dias
- Quantidade de dados: pelo menos 500 conversões por variante
- Metas: no máximo 3 métricas, com foco nos principais KPIs
- Ignorar resultados intermediários: Os valores de significância podem flutuar durante o período. Apenas o resultado final ao término do teste é significativo.
Isso garante que a influência do acaso permaneça baixa e que a avaliação forneça resultados realistas.
4. conclusão
Um resultado significativo em um teste A/A significa, na maioria dos casos, nenhum sinal real, mas se limita ao acaso ou à configuração do teste.
Somente quando dados suficientes foram coletados durante um período mais longo e o acaso pode ser estatisticamente excluído é que um resultado é realmente confiável.