Kostenloser A/B-Test-Signifikanzrechner

Statistische Signifikanz misst, wie sicher Sie sein können, dass der Unterschied zwischen zwei Varianten echt ist und nicht bloß zufällige Streuung. Eine gängige Faustregel: Erklären Sie erst dann einen Gewinner, wenn die Konfidenz bei 95% oder höher liegt - dann liegt die Wahrscheinlichkeit, dass das Ergebnis Zufall war, unter 5%.

Der p-Wert ist die Wahrscheinlichkeit, Ihr beobachtetes Ergebnis (oder ein noch extremeres) zu sehen, wenn es zwischen den Varianten in Wahrheit gar keinen Unterschied gäbe. Je kleiner der p-Wert, desto stärker der Beleg, dass der Unterschied echt ist. Ein p-Wert von 0,05 entspricht 95% Konfidenz.

Die meisten Marketer arbeiten mit 95% Konfidenz und akzeptieren damit eine Falsch-positiv-Rate von 5%. Nehmen Sie 99%, wenn viel auf dem Spiel steht (etwa bei einem Rollout auf den gesamten Paid Traffic), und 90% nur für risikoarme Experimente in einer frühen Phase.

Das hängt von Ihrer Ausgangs-Conversion-Rate und der Größe des Lifts ab, den Sie erkennen wollen. Als grobe Regel: Kleine Lifts (unter 5%) brauchen Zehntausende Besucher pro Variante, größere Lifts (ab 20%) lassen sich mit ein paar Tausend bestätigen. Der Rechner schätzt bei 80% Power, wie viele Besucher jede Variante noch braucht, um den Unterschied zu bestätigen, den Sie gerade sehen.

Der Lift ist der relative prozentuale Unterschied zwischen den Conversion-Rates der beiden Varianten. Konvertiert Variante A mit 3% und Variante B mit 4,5%, beträgt der Lift von B gegenüber A 50%. Am Lift entscheiden Sie, ob sich eine Änderung lohnt.

Eine höhere Conversion-Rate allein reicht nicht. Sie brauchen genug Daten, damit der Unterschied kaum noch durch Zufall erklärbar ist. Je kleiner der Lift, desto mehr Besucher brauchen Sie. Brechen Sie einen Test zu früh ab, riskieren Sie, reines Rauschen auszurollen.

Peeking heißt, die Testergebnisse ständig zu prüfen und genau in dem Moment zu stoppen, in dem die Konfidenz 95% überschreitet. Das treibt Ihre Falsch-positiv-Rate massiv nach oben. Legen Sie stattdessen die nötige Stichprobengröße vorab fest und schauen Sie sich das Ergebnis einmal am Ende an.

Ja. Signifikanz ist eine universelle Kennzahl, der Rechner funktioniert also für jeden A/B-Test, bei dem Sie Besucher (oder Impressionen, Klicks, Sendungen) und Conversions messen können. Tragen Sie einfach Zahlen aus Meta Ads, Google Ads, TikTok Ads, E-Mail-Plattformen oder Ihrer Landingpage-Analytics ein.

Ja. Der A/B-Test-Signifikanzrechner ist zu 100% kostenlos: keine Anmeldung, keine Limits, keine E-Mail-Hürde. Führen Sie so viele Tests durch, wie Sie brauchen - privat oder kommerziell.

Nein. Alle Berechnungen laufen vollständig in Ihrem Browser. Besucherzahlen und Conversions verlassen Ihr Gerät nie und werden nie an unsere Server gesendet.