Starte einen A/A Test und überprüfe das Tracking
Inhaltsverzeichnis
Kurz & Knapp
Um dein Tracking-Setup in GA4 zu überprüfen, gehe in den Realtime Report und suche nach dem Event “Abtesting”. Klicke darauf und prüfe, ob der Parameter “varify_abTestShort” vorhanden ist. Indem du einen A/A-Test startest. Fehlt das Event, überprüfe die Integration des Varify Snippets und die Tracking-Einstellungen.
Step-by-Step Tutorial
A/A Test anlegen und Tracking testen
1. A/A Test anlegen
Ein A/A-Test funktioniert wie ein A/B-Test und weist Nutzern zwei Varianten zu – ohne tatsächliche sichtbare Änderungen. So kannst du das Tracking-Setup optimal testen.
Voraussetzung:
Das Varify Code Snippet muss bereits in deine Website integriert sein und das Tracking eingerichtet.
- Erstelle eine neue Variante/ein neues Experiment, indem du über das Varify.io Dashboard beispielsweise die Startseite deiner Website öffnest.
- Klicke oben rechts auf das Code-Symbol und wähle CSS.
- Füge in das Fenster ein paar Leerzeichen ein und klicke auf Save (dadurch gibt es für die Nutzer keine sichtbaren Änderungen).
- Speichere die Variante oben rechts unter “Finish” und benenne sie A/A-Test.
- Klicke im Dashboard auf das Page Targeting des A/A-Tests und dann auf “Edit Conditions”.
- Trage deine Domain ein und setze den Matching Type auf “Contains” (damit erhältst du die meisten Daten für deinen A/A-Test, da er für alle Nutzer deiner Website ausgespielt wird.).
- Starte den A/A-Test.
8. Gehe auf eine beliebige Seite deiner Webseite und prüfe, ob der AA Test ausgeliefert wird. Am einfachsten öffnest du dazu die Varify Google Chrome Browser Extension und prüfe, dass der AA Test unter „Active Experiments“ aufgelistet ist. (Es kann bis zu 2 Minuten nach Test Liveschaltung dauern, bis du das Experiment siehst. Lade entsprechend die Seite neu.)
2. Live Events in GA4 prüfen
Wenn das Varify Snippet integriert, das Tracking eingerichtet und ein A/A-Test gestartet wurde, kannst du in der GA4 Realtime Overview prüfen, ob die Events deines A/A-Tests ankommen.
- Gehe in GA4 unter Reports zur Realtime Overview.
- Suche das Widget “Event count by Event Name”.
- Prüfe, ob ein Event namens “Abtesting” erscheint (eventuell musst du dich durch die Seiten des Widgets klicken).
- Klicke auf dieses Event, um die Parameter zu öffnen.
- Überprüfe, ob der Parameter “varify_abTestShort” vorhanden ist (eventuell musst du dich durch die Seiten des Widgets klicken).
- Klicke auf den Parameter und schaue, ob der Parameter bestehend aus Experiment ID und Varianten ID korrekt angezeigt wird
Ist dieser Parameter sichtbar und korrekt, ist das Tracking korrekt aufgesetzt.
(Optional) Varify Events in DataLayer überprüfen
Sollten keine Live-Events in GA4 zu sehen sein, kannst du in der Entwicklerkonsole deines Browsers prüfen, ob die Varify Tracking Events korrekt im DataLayer ausgespielt werden.
So gehst du vor:
- Öffne eine Seite, auf der dein A/A-Test aktiv ist.
- Öffne die Entwicklerkonsole deines Browsers: In Chrome: Rechtsklick auf die Seite → “Untersuchen” → Tab “Konsole” wählen.
- Gib dataLayer in die Konsole ein und drücke Enter.
- Suche im DataLayer nach einem Event mit dem Namen “varify”.
- Klappe das Event aus – hier findest du alle relevanten Parameter und Informationen zum Experiment, z. B.:
Name des Experiments
Variante, in der du dich befindest
3. Wichtige zur Auswertung von A/A-Tests
So führst du einen A/A-Test korrekt durch
Ein A/A-Test verdient dieselbe Sorgfalt wie ein regulärer A/B-Test. Plane eine Testdauer von mindestens einer Woche oder bis zu etwa 1.000 Conversions pro Variante, je nachdem, was zuerst eintritt. Lege dich dabei auf eine Hauptmetrik fest und werte den Test erst zum vorab festgelegten Zeitpunkt aus. Zeigt sich am Ende kein signifikanter Unterschied (p > 0,05), kannst du davon ausgehen, dass dein Setup korrekt funktioniert.
Nutze Events statt Metriken oder Key Events
Bei A/B-Tests interessiert in der Regel, ob ein User ein Ziel erreicht. GA4 misst dabei klassischerweise nicht auf Nutzerbasis, sondern auf Event-Basis, ein User kann ein Ziel (ein Event) also mehrfach auslösen. Metriken und Key Events lassen sich über die GA4 API jedoch nicht auf Basis von „einmal pro User“ auswerten, das ist eine Einschränkung der GA4 API selbst. Automatisierte Tests oder Bots können Events dabei besonders häufig auslösen. Landet ein solcher Bot zufällig nur in einer Variante, verzerrt das den Vergleich erheblich. Führe die Auswertung deshalb grundsätzlich auf Event-Basis durch, mit der Einstellung „Exclude duplicate user events“, damit ein Ziel maximal einmal pro User gezählt wird.
Weniger ist mehr: Metriken mit Bedacht wählen
Verzichte darauf, zu viele Metriken gleichzeitig auszuwerten. Je mehr Metriken du betrachtest, desto höher die Wahrscheinlichkeit für sogenannte False Positives, also scheinbar signifikante Unterschiede, die in Wirklichkeit gar nicht existieren. Ein Beispiel: Bei 14 Metriken liegt die Wahrscheinlichkeit für mindestens einen False Positive bei rund 51 Prozent, selbst wenn du für jede einzelne Metrik ein Signifikanzniveau von 5 Prozent zugrunde legst. Es ist also wahrscheinlicher, einen False Positive zu messen, als keinen zu messen.
Wichtig: Nicht zu früh reinschauen
Auch wiederholte Zwischenprüfungen können die Aussagekraft eines Tests stark verzerren. Mit jedem zusätzlichen Blick auf die Ergebnisse steigt die Wahrscheinlichkeit, ein zufälliges Ergebnis fälschlich als signifikant zu interpretieren:
- 7 Zwischenprüfungen (zum Beispiel täglich über eine Woche): rund 30 Prozent Risiko für einen False Positive
- 14 Zwischenprüfungen (zum Beispiel täglich über zwei Wochen): rund 51 Prozent Risiko für einen False Positive
Fazit: Beende deinen Test erst zum geplanten Zeitpunkt, auch wenn vorher scheinbar „etwas passiert“. Wer zu früh stoppt, riskiert, eine falsche Entscheidung auf Basis eines False Positives zu treffen.