A/A-Test zeigt signifikante Ergebnisse
Wie du den Fehler erkennst
Dein A/A-Test zeigt nach wenigen Tagen ein signifikantes Ergebnis für eine oder mehrere Metriken.
Wie du den Fehler behebst
Ein A/A-Test wird verwendet, um die Zuverlässigkeit des Testaufbaus zu überprüfen. Zwei identische Varianten werden gegeneinander getestet. Theoretisch sollten beide Varianten die gleichen Ergebnisse erzielen. Wenn ein A/A-Test ein signifikantes Ergebnis zeigt, deutet das in der Regel darauf hin, dass dies nicht auf einem realen Effekt, sondern auf statistischen oder technischen Ursachen beruht.
1. Bedeutung der Signifikanz beim A/A-Test
Varify wertet Testergebnisse mit einem frequentistischen Ansatz aus.
Wenn der Zufall weitgehend ausgeschlossen ist, wird der Kehrwert des p-Werts als Signifikanz angezeigt.
Liegt dieser Wert über 95 %, zeigt Varify ein signifikantes Ergebnis an.
Bei einem A/A-Test bedeutet das jedoch nicht, dass eine Variante tatsächlich „besser“ ist – sondern dass die Daten so zufällig verteilt sind, dass die Wahrscheinlichkeit eines Unterschieds größer erscheint, als sie tatsächlich ist.
2. häufige Ursachen für ein „falsches“ signifikantes Ergebnis
a) Zu kurze Laufzeit
Bei zu wenig Daten kann der Zufall immer noch einen starken Effekt haben. Eine signifikante kurzfristige Abweichung ist normal und kein verlässliches Signal.
b) Zu viele Ziele
Jedes zusätzliche Ziel erhöht die Wahrscheinlichkeit eines sogenannten Alpha-Fehlers. Das bedeutet, dass die Chance, dass irgendwo zufällig ein Unterschied gefunden wird, mit der Anzahl der Metriken steigt.
c) Ungleichmäßige Traffic-Verteilung
Wenn Besucher nicht gleichmäßig auf die Varianten verteilt werden (z. B. durch Caching, Bot-Traffic oder unvollständige Ausspielung), kann das Ergebnis verzerrt werden.
d) Stichprobe zu klein
Metriken schwanken bei niedrigen Conversion-Zahlen stark. Ein Unterschied von nur wenigen Conversions kann zu einer scheinbar hohen Signifikanz führen.
3. Best Practice für A/A-Tests
Um sicherzustellen, dass A/A-Tests zuverlässige Ergebnisse liefern, empfehlen wir
- Laufzeit: mindestens 10 Tage
- Datenmenge: mindestens 500 Conversions pro Variante
- Ziele: maximal 3 Metriken, mit Fokus auf die Haupt-KPIs
- Zwischenergebnisse ignorieren: Signifikanzwerte können während der Laufzeit schwanken. Nur das Endergebnis am Ende des Tests ist aussagekräftig.
Dies stellt sicher, dass der Einfluss des Zufalls gering bleibt und die Auswertung realistische Ergebnisse liefert.
4. Fazit
Ein signifikantes Ergebnis in einem A/A-Test bedeutet in den meisten Fällen kein echtes Signal, sondern ist auf Zufall oder Testkonfiguration zurückzuführen.
Nur wenn über einen längeren Zeitraum ausreichend Daten gesammelt wurden und Zufall statistisch ausgeschlossen werden kann, ist ein Ergebnis wirklich zuverlässig.