Una prueba A/A muestra resultados significativos
Cómo reconocer el error
Tu prueba A/A muestra un resultado significativo para una o más métricas después de unos días.
Cómo corregir el error
Un test A/A se utiliza para comprobar la fiabilidad de la configuración del test. Se prueban dos variantes idénticas entre sí. En teoría, ambas variantes deberían obtener los mismos resultados. Si un test A/A muestra un resultado significativo, esto normalmente indica que no se debe a un efecto real, sino a causas estadísticas o técnicas.
1. importancia de la significancia en el test A/A
Varify evalúa los resultados de los tests con un enfoque frecuentista.
Cuando la casualidad queda mayormente descartada, se muestra el valor recíproco del valor p como Significancia.
Si este valor está por encima del 95 %, Varify muestra un resultado significativo.
En un test A/A, sin embargo, esto no significa que una variante sea realmente «mejor», sino que los datos se distribuyen de forma aleatoria de tal manera que la probabilidad de una diferencia parece mayor de lo que realmente es.
2. causas comunes de un resultado «significativo» falso
a) Duración demasiado corta
Con muy pocos datos, el azar todavía puede tener un efecto fuerte. Una desviación significativa a corto plazo es normal y no es una señal fiable.
b) Demasiados objetivos
Cada objetivo adicional aumenta la probabilidad de un llamado error Alfa. Esto significa que la probabilidad de que se encuentre una diferencia en algún lugar por azar aumenta con el número de métricas.
c) Asignación de tráfico desigual
Si los visitantes no se distribuyen de manera uniforme entre las variantes (por ejemplo, debido a caché, tráfico de bots o una reproducción incompleta), el resultado puede distorsionarse.
d) Muestra demasiado pequeña
Las métricas fluctúan mucho con cifras de conversión bajas. Una diferencia de solo unas pocas conversiones puede dar lugar a una significancia aparentemente alta.
3. Mejores prácticas para pruebas A/A
Para garantizar que las pruebas A/A proporcionen resultados fiables, recomendamos
- Tiempo de ejecución: al menos 10 días
- Cantidad de datos: al menos 500 conversiones por variante
- Objetivos: máximo 3 métricas, centrándose en los KPI principales
- Ignorar resultados intermedios: los valores de significancia pueden fluctuar durante el periodo. Solo el resultado final al terminar la prueba es significativo.
Esto garantiza que la influencia del azar se mantenga baja y que la evaluación ofrezca resultados realistas.
4. conclusión
Un resultado significativo en una prueba A/A significa en la mayoría de los casos ninguna señal real, sino que se limita a ser atribuible al azar o a la configuración de la prueba.
Solo cuando se han recopilado suficientes datos durante un periodo más largo y se puede excluir estadísticamente el azar, un resultado es realmente fiable.