Du hast einen A/B-Test durchgeführt – jetzt prüfe, ob das Ergebnis statistisch signifikant ist. Gib die Besucher und Conversions deiner Kontrolle (A) und deiner Variation (B) ein, wähle ein Konfidenzniveau und erhalte sofort Konversionsrate, Uplift, Signifikanz und p-Wert.
Gib oben deine Besucher und Conversions ein und klicke dann auf Berechnen, um dein Ergebnis und das Verteilungsdiagramm zu sehen.
Drei Antworten mit einem Klick – kein Spreadsheet, kein Statistikstudium erforderlich.
Sieh dir die Conversion-Rate beider Versionen im direkten Vergleich an sowie den relativen Uplift deiner Variation gegenüber der Kontrolle.
Ein Chi-Quadrat-Test zeigt dir, ob der Unterschied real ist oder nur Rauschen – beim Konfidenzniveau deiner Wahl (90 %, 95 % oder 99 %).
Eine automatische SRM-Prüfung schlägt Alarm, wenn deine Traffic-Aufteilung nicht stimmt – eine häufige Ursache für irreführende Testergebnisse.
Ein Ergebnis ist statistisch signifikant, wenn der Unterschied zwischen Kontrolle und Variation mit hoher Wahrscheinlichkeit nicht durch Zufall entstanden ist. Wie streng diese Schwelle ist, legst du mit dem Konfidenzniveau fest: Bei 95 % gilt das Ergebnis als signifikant, sobald der Rechner mindestens 95 % Konfidenz erreicht.
Beispiel: Die Kontrolle (A) hat 85.000 Besucher und 3.326 Conversions – eine Conversion-Rate von 3,91 %. Die Variation (B) hat 83.000 Besucher und 3.403 Conversions – eine Conversion-Rate von 4,10 %, ein Uplift von 4,78 %. Das Ergebnis überschreitet die 95-%-Schwelle (ca. 97,5 % Konfidenz), der Test ist also signifikant.
Der p-Wert gibt die Wahrscheinlichkeit an, einen mindestens so großen Unterschied zu beobachten, wenn die Variation keinen echten Effekt hätte. Ein kleinerer p-Wert bedeutet stärkere Evidenz. Bei einem Konfidenzniveau von 95 % suchst du nach einem p-Wert von 0,05 oder kleiner. Dieser Rechner gibt einen einseitigen p-Wert aus – er prüft, ob die Variation in der beobachteten Richtung besser als die Kontrolle ist.
95% ist der gängige Standard in der Conversion-Optimierung – eine gute Balance zwischen dem Erkennen echter Gewinner und dem Vermeiden von falsch positiven Ergebnissen. Wähle 99%, wenn eine falsche Entscheidung teuer wäre und du besonders sicher gehen möchtest; 90% nur für frühe, risikoarme Einschätzungen, bei denen du mehr Unsicherheit akzeptierst.
Ein SRM tritt auf, wenn Besucher nicht so auf Kontrolle und Variation aufgeteilt werden, wie du es geplant hattest (zum Beispiel eine geplante 50/50-Aufteilung, die am Ende 55/45 ergibt). Das deutet meist auf ein technisches Problem hin – Weiterleitungsfehler, Bots oder Tracking-Lücken – und kann dein Ergebnis still und leise entwerten. Wenn der Rechner einen SRM meldet, korrigiere die Aufteilung, bevor du einer Signifikanzzahl vertraust.
Signifikanz sagt dir, dass der Unterschied wahrscheinlich real ist – nicht, ob er für dein Business bedeutsam oder über die Zeit stabil ist. Berücksichtige auch die Größe des Uplifts, die Testdauer (vollständige Geschäftszyklen abdecken), die Stichprobengröße und ob das Ergebnis über wichtige Segmente hinweg standhält, bevor du eine Variante für alle ausspielst.
Varify.io ist deine DSGVO-konforme, cookielose Alternative zu traffic-basierten Testing-Tools. Flatrate ab €199/Monat – egal wie viel Traffic du hast oder wie viele Experimente du durchführst.
Starte deine 30-tägige kostenlose TestphaseKeine Kreditkarte erforderlich · Entwickelt & gehostet in Deutschland