Un test A/A affiche des résultats significatifs
Comment reconnaître l'erreur
Ton test A/A affiche un résultat significatif pour une ou plusieurs métriques après quelques jours.
Comment corriger l'erreur
Un test A/A est utilisé pour vérifier la fiabilité de la configuration du test. Deux variantes identiques sont testées l'une contre l'autre. Théoriquement, les deux variantes devraient obtenir les mêmes résultats. Si un test A/A affiche un résultat significatif, cela indique généralement que ce n'est pas dû à un effet réel, mais à des causes statistiques ou techniques.
1. importance de la significativité dans le test A/A
Varify évalue les résultats des tests avec une approche fréquentiste.
Lorsque le hasard est largement exclu, l'inverse de la valeur p est affiché comme Significance.
Si cette valeur est supérieure à 95 %, Varify affiche un résultat significatif.
Dans un test A/A, cela ne signifie cependant pas qu'une variante est réellement « meilleure » - mais que les données sont réparties de manière aléatoire de telle sorte que la probabilité d'une différence paraît plus grande qu'elle ne l'est en réalité.
2. causes courantes d'un résultat « faussement » significatif
a) Durée trop courte
Avec trop peu de données, le hasard peut encore avoir un effet important. Une déviation significative à court terme est normale et ne constitue pas un signal fiable.
b) Trop d'objectifs
Chaque objectif supplémentaire augmente la probabilité de ce qu'on appelle une erreur Alpha. Cela signifie que la probabilité qu'une différence soit trouvée quelque part par hasard augmente avec le nombre de métriques.
c) Répartition inégale du trafic
Si les visiteurs ne sont pas répartis uniformément entre les variantes (par exemple à cause du cache, du trafic de bots ou d'une diffusion incomplète), le résultat peut être faussé.
d) Échantillon trop petit
Les métriques fluctuent fortement avec de faibles chiffres de conversion. Une différence de quelques conversions seulement peut entraîner une significativité apparemment élevée.
3. Bonnes pratiques pour les tests A/A
Pour garantir que les tests A/A fournissent des résultats fiables, nous recommandons
- Durée d'exécution : au moins 10 jours
- Quantité de données : au moins 500 conversions par variante
- Objectifs : maximum 3 métriques, en se concentrant sur les principaux KPI
- Ignorer les résultats intermédiaires : les valeurs de signification peuvent fluctuer pendant la durée du test. Seul le résultat final à la fin du test est significatif.
Cela permet de garantir que l'influence du hasard reste faible et que l'évaluation fournit des résultats réalistes.
4. Conclusion
Un résultat significatif dans un test A/A signifie dans la plupart des cas aucun signal réel, mais est plutôt attribuable au hasard ou à la configuration du test.
Ce n'est que lorsque suffisamment de données ont été collectées sur une période plus longue et que le hasard peut être statistiquement exclu qu'un résultat est vraiment fiable.