Starte einen A/A-Test und überprüfe das Tracking
Kurz gesagt
Um dein Tracking-Setup in GA4 zu überprüfen, gehe zum Echtzeitbericht und suche nach dem Event „Abtesting“. Klicke darauf und prüfe, ob der Parameter „varify_abTestShort“ vorhanden ist. Indem du einen A/A-Test startest. Wenn das Event fehlt, überprüfe die Integration des Varify-Snippets und die Tracking-Einstellungen.
1. A/A-Test erstellen
Ein A/A-Test funktioniert wie ein A/B-Test und weist Nutzern zwei Varianten zu - ohne dass es sichtbare Änderungen gibt. So kannst du das Tracking-Setup optimal testen.
Voraussetzung:
Der Varify-Code-Snippet muss bereits in deine Website integriert und das Tracking eingerichtet sein.
- Klicke im Dashboard auf „Create new Experiment“
- Wähle dann „Client-Side“
- Wähle nun „A/A Test“
- Gib dem A/A-Test nun einen Namen
- Gib eine Experiment-URL für den A/A-Test ein (deine Domain ist hier bereits als Standard eingetragen)
- Speichere den A/A-Test, indem du auf „Create Experiment“ klickst
- Starte den A/A-Test, indem du auf „Start Experiment“ klickst
Standardmäßig ist der A/A-Test im Page Targeting auf eine „Contains“-Übereinstimmung eingestellt, um möglichst viele Daten für das Testen des Trackings zu sammeln. Du kannst das Targeting für den A/A-Test über „Edit Conditions“ bearbeiten.
2. Testwiedergabe-Verifizierung
- Gehe auf eine beliebige Seite deiner Website und prüfe, ob der AA-Test ausgeliefert wird. Am einfachsten geht das, indem du die Varify Google Chrome Browser Extension öffnest und prüfst, ob der AA-Test unter „Active Experiments“ aufgeführt ist. (Es kann bis zu 2 Minuten dauern, nachdem der Test live geht, bis du das Experiment siehst. Aktualisiere die Seite bei Bedarf.)
3. Live-Events in GA4 prüfen
Sobald das Varify-Snippet integriert wurde, das Tracking eingerichtet ist und ein A/A-Test gestartet wurde, kannst du in der GA4 Realtime Overview prüfen, ob die Events deines A/A-Tests ankommen.
- Gehe in GA4 unter Reports zur Realtime Overview.
- Suche nach dem Widget „Event count by Event Name“.
- Prüfe, ob ein Event mit dem Namen „Abtesting“ erscheint (eventuell musst du dich durch die Seiten des Widgets klicken).
- Klicke auf dieses Event, um die Parameter zu öffnen.
- Prüfe, ob der Parameter „varify_abTestShort“ verfügbar ist (eventuell musst du dich durch die Seiten des Widgets klicken).
- Klicke auf den Parameter und prüfe, ob der aus Experiment ID und Variant ID bestehende Parameter korrekt angezeigt wird
Wenn dieser Parameter sichtbar und korrekt ist, ist das Tracking richtig eingerichtet.
(Optional) Varify-Events im DataLayer prüfen
Wenn in GA4 keine Live-Events sichtbar sind, kannst du in der Entwicklerkonsole deines Browsers prüfen, ob die Varify-Tracking-Events korrekt in den DataLayer gepusht werden.
So gehst du vor:
- Öffne eine Seite, auf der dein A/A-Test aktiv ist.
- Öffne die Entwicklerkonsole deines Browsers: In Chrome: Rechtsklick auf die Seite → „Untersuchen“ → wähle den Tab „Console“.
- Schreibe dataLayer in die Konsole und drücke Enter.
- Suche im DataLayer nach einem Event mit dem Namen „varify“.
- Klappe das Event auf – hier findest du alle relevanten Parameter und Informationen zum Experiment, z. B.:
Name des Experiments
Variante, in der du dich befindest
Wichtige Hinweise zur Interpretation von A/A-Tests
So führst du einen A/A-Test korrekt durch
Ein A/A-Test verdient das gleiche Maß an Sorgfalt wie ein regulärer A/B-Test. Plane eine Testdauer von mindestens einer Woche oder bis zu etwa 1.000 Conversions pro Variante, je nachdem, was zuerst eintritt. Wähle eine primäre Metrik und werte den Test erst zum festgelegten Zeitpunkt aus. Zeigt sich am Ende kein signifikanter Unterschied (p > 0,05), kannst du davon ausgehen, dass dein Setup korrekt funktioniert.
Verwende Events statt Metriken oder Key Events
Beim A/B-Testing liegt der Hauptfokus typischerweise darauf, ob ein Nutzer ein Ziel erreicht. GA4 misst dies traditionell nicht auf Nutzerbasis, sondern auf Event-Basis; somit kann ein Nutzer ein Ziel (ein Event) mehrfach auslösen. Metriken und Key Events können jedoch über die GA4-API nicht auf Basis von „einmal pro Nutzer“ analysiert werden; dies ist eine Einschränkung der GA4-API selbst. Automatisierte Tests oder Bots können Events besonders häufig auslösen. Landet ein solcher Bot zufällig nur in einer Variante, verzerrt dies den Vergleich erheblich. Führe die Analyse daher immer auf Event-Basis durch und nutze die Einstellung „Exclude duplicate user events“, damit ein Ziel höchstens einmal pro Nutzer gezählt wird.
Weniger ist mehr: Metriken mit Bedacht wählen
Vermeide es, zu viele Metriken gleichzeitig zu analysieren. Je mehr Metriken du betrachtest, desto höher ist die Wahrscheinlichkeit sogenannter falsch-positiver Ergebnisse—also scheinbar signifikanter Unterschiede, die tatsächlich nicht existieren. Hier ein Beispiel: Bei 14 Metriken liegt die Wahrscheinlichkeit für mindestens ein falsch-positives Ergebnis bei etwa 51 Prozent, selbst wenn du für jede einzelne Metrik ein Signifikanzniveau von 5 Prozent verwendest. Es ist also wahrscheinlicher, ein falsch-positives Ergebnis zu entdecken, als keines zu entdecken.
Wichtig: Nicht zu früh nachsehen
Wiederholte Zwischentests können die Signifikanz deines Tests ebenfalls stark verfälschen. Das liegt daran, dass jeder zusätzliche Blick auf die Ergebnisse die Wahrscheinlichkeit erhöht, ein zufälliges Ergebnis fälschlicherweise als signifikant zu interpretieren.
- 7 Zwischenauswertungen (zum Beispiel täglich über eine Woche): etwa 30 Prozent Risiko für einen falsch positiven Befund
- 14 Zwischenauswertungen (zum Beispiel täglich über zwei Wochen): etwa 51 Prozent Risiko für einen falsch positiven Befund
Fazit: Beende deinen Test nicht vor dem geplanten Zeitpunkt, auch wenn es vorher so aussieht, als würde „etwas passieren“. Wenn du zu früh abbrichst, riskierst du, aufgrund eines falsch positiven Befunds die falsche Entscheidung zu treffen.