Die Statistik der A/B-Test-Ergebnisse kann verwirrend sein, wenn Sie die genauen Formeln nicht kennen. Wir hatten bereits einen Artikel über die Mathematik von A/B-Tests veröffentlicht und bieten auf unserer Website einen Rechner für die statistische Signifikanz von A/B-Tests an. Damit können Sie überprüfen, ob Ihre Ergebnisse signifikant sind oder nicht.

Der Rechner stellt eine Schnittstelle zur Verfügung, mit der Sie die statistische Signifikanz Ihres A/B-Tests berechnen können, gibt Ihnen aber nicht die Formeln an die Hand, mit denen Sie diese berechnen können. Dieser Artikel hingegen bietet eine Einführung in die Statistik von A/B-Tests und erläutert sowohl die Mathematik, die hinter A/B-Split-Tests steckt, als auch die Bedeutung der statistischen Signifikanz

Kostenlos herunterladen: A/B-Testing Leitfaden

Mit der A/B-Testing-Lösung von VWO konnte das Einzelhandelsunternehmen Greene seinen Umsatz um fast 60 % steigern. Die Durchführung und Interpretation von A/B-Tests kann jedoch kompliziert sein. 

Dank der A/B-Testing-Lösungen von VWO konnte das Einzelhandelsunternehmen Greene seinen Umsatz um fast 60% steigern. Die Interpretation von A/B-Tests kann allerdings knifflig sein. Wenn Sie also nicht an die Prognosen von A/B-Testergebnissen mithilfe der indischen Astrologie glauben, erfahren Sie in diesem Blog, wie Sie die statistische Signifikanz Ihrer Tests einfach berechnen können.

Das „Was“, „Warum“ und „Wie“ der statistischen Signifikanz

Bevor wir uns mit komplexen Formeln zur statistischen Signifikanz befassen, sollten wir erst einmal verstehen, was das ist, warum es wichtig ist und wie man sicherstellt, dass die Tests mit statistischer Signifikanz abgeschlossen werden.

Was ist statistische Signifikanz?

Statistische Signifikanz ist nichts anderes als die Wahrscheinlichkeit, dass der Unterschied zwischen den Conversion Rates einer gewählten Variante und der Kontrollvariante nicht auf einen Zufall zurückzuführen ist, sondern auf einen gut geplanten, datengestützten Prozess. In diesem datengestützten Prozess geht es  zunächst um das Sammeln von User Insights darüber, wie sie mit Ihrer Website interagieren. Dann verwenden Sie diese die gesammelten Daten zum Formulieren einer wissenschaftlichen Testhypothese.

Ihr Signifikanzniveau spiegelt auch Ihr Maß an Zuversicht und Ihre Risikotoleranz wider.

Führen Sie beispielsweise einen A/B-Test mit einer Signifikanz von 80% durch, können Sie bei der Ermittlung des Gewinners zu 80% sicher sein, dass die erzielten Ergebnisse nicht auf eine zufällige Vermutung oder den Zufall zurückzuführen sind. Darüber hinaus spiegelt die 80%ige Signifikanz auch die 20%ige Chance wider, dass Sie daneben liegen könnten.

Warum ist statistische Signifikanz wichtig?

Damit A/B-Tests erfolgreich sind, sollten die Testergebnisse statistisch signifikant sein. Sie können nicht mit Sicherheit sagen, wie zukünftige Besucher auf Ihre Website reagieren werden. Alles, was Sie tun können, ist die Beobachtung der nächsten Besucher, Visitor Recordings aufzuzeichnen, das Ganze statistisch zu analysieren und auf dieser Grundlage Änderungen vorzuschlagen und vorzunehmen, um die Erfahrung der nächsten Nutzer zu optimieren. Sie können die Benutzerfreundlichkeit Ihrer Website verbessern, wenn jeder einzelne Schritt unter Berücksichtigung aller Variablen wie dem gesamten Website-Traffic, dem Sample-Traffic, der Testdauer und so weiter geplant wird. Ein gutes Beispiel dafür ist das deutsche Unternehmen Dachfenster-rollo.de, das seine Conversion Rate durch A/B-Tests um 33% verbessern konnte.

Da Ihr Marketing-Team nach exakten Prognosen über zukünftige Besucher Ausschau hält und solche Prognosen mit einer gewissen Unsicherheit behaftet sind, ist eine statistische Signifikanz erforderlich. Statistische Signifikanz ist auch deshalb wichtig, weil sie als Quelle des Vertrauens dient und Ihnen versichert, dass die von Ihnen vorgenommenen Änderungen tatsächlich einen positiven Einfluss auf Ihre Geschäftsziele haben.

Wie lässt sich die statistische Signifikanz eines Tests sicherstellen?

Statistical significance depends on 2

Die statistische Signifikanz hängt von 2 Variablen ab:

• Die Anzahl der Besucher, d. h. Ihre Stichprobengröße.
• Die Anzahl der Conversions, sowohl für der Kontrolle als auch der Variation(en).

Um sicherzustellen, dass Ihre A/B-Tests mit statistischer Signifikanz abgeschlossen werden, planen Sie Ihr Testprogramm unter Berücksichtigung dieser beiden Variablen. Verwenden Sie unseren kostenlosen A/B-Test-Signifikanzrechner, um das Signifikanzniveau Ihres Tests zu ermitteln.

Kostenlos herunterladen: A/B-Testing Leitfaden

Wie wird die statistische Signifikanz für A/B-Tests in einem Excel-Sheet mit Formeln berechnet?

Wir haben eine KOSTENLOSE Tabelle erstellt, in der genau beschrieben ist, wie Sie die statistische Signifikanz in Excel berechnen können. Sie benötigen lediglich die Anzahl der Besucher und Conversions für die Kontrolle und die Variationen. Der Excel-Rechner zeigt Ihnen automatisch die Signifikanz, den p-Wert, den z-Wert und andere relevante Kennzahlen für jede Art von A/B-Splittest (einschließlich Adwords) an. Als Ergänzung zu unserem Artikel über die Mathematik der A/B-Tests und dem kostenlosen Rechner für die statistische Signifikanz von A/B-Tests stellen wir Ihnen die Formel für die Signifikanz von A/B-Tests in Excel zur Verfügung, mit der Sie die Signifikanz der Testergebnisse berechnen können.

Klicken Sie hier, um den Signifikanzrechner für A/B-Tests herunterzuladen (Exceltabelle)

Sie können die Datei gerne an Ihre Freunde und Kollegen weitergeben oder auch in Ihrem Blog und in den sozialen Medien veröffentlichen.

PS: Übrigens, falls Sie schnell Kalkulationen durchführen möchten, haben wir eine Version dieses A/B-Test-Signifikanzrechners auf Google Sheets gehostet

(Bevor Sie Änderungen vornehmen können, müssen Sie eine Kopie des Google Sheets in Ihrem eigenen Google-Konto erstellen.)

Bei VWO sind wir davon überzeugt, dass das Verständnis für die Statistiken hinter A/B-Tests keine Kopfschmerzen bereiten sollte. Das erledigt Ihr Tool für Sie. Wenn Sie VWO SmartStats ausprobieren möchten, um intuitive und intelligente Berichte über Ihre A/B-Tests zu erhalten, können Sie es kostenlos testen.

Häufig gestellte Fragen