A/B-Test-Rechner für statistische Signifikanz [Kostenlose Exceltabelle]
Die Statistik der A/B-Test-Ergebnisse kann verwirrend sein, wenn Sie die genauen Formeln nicht kennen. Wir hatten bereits einen Artikel über die Mathematik von A/B-Tests veröffentlicht und bieten auf unserer Website einen Rechner für die statistische Signifikanz von A/B-Tests an. Damit können Sie überprüfen, ob Ihre Ergebnisse signifikant sind oder nicht.
Der Rechner stellt eine Schnittstelle zur Verfügung, mit der Sie die statistische Signifikanz Ihres A/B-Tests berechnen können, gibt Ihnen aber nicht die Formeln an die Hand, mit denen Sie diese berechnen können. Dieser Artikel hingegen bietet eine Einführung in die Statistik von A/B-Tests und erläutert sowohl die Mathematik, die hinter A/B-Split-Tests steckt, als auch die Bedeutung der statistischen Signifikanz
Kostenlos herunterladen: A/B-Testing Leitfaden
Mit der A/B-Testing-Lösung von VWO konnte das Einzelhandelsunternehmen Greene seinen Umsatz um fast 60 % steigern. Die Durchführung und Interpretation von A/B-Tests kann jedoch kompliziert sein.
Dank der A/B-Testing-Lösungen von VWO konnte das Einzelhandelsunternehmen Greene seinen Umsatz um fast 60% steigern. Die Interpretation von A/B-Tests kann allerdings knifflig sein. Wenn Sie also nicht an die Prognosen von A/B-Testergebnissen mithilfe der indischen Astrologie glauben, erfahren Sie in diesem Blog, wie Sie die statistische Signifikanz Ihrer Tests einfach berechnen können.
Das „Was“, „Warum“ und „Wie“ der statistischen Signifikanz
Bevor wir uns mit komplexen Formeln zur statistischen Signifikanz befassen, sollten wir erst einmal verstehen, was das ist, warum es wichtig ist und wie man sicherstellt, dass die Tests mit statistischer Signifikanz abgeschlossen werden.
Was ist statistische Signifikanz?
Statistische Signifikanz ist nichts anderes als die Wahrscheinlichkeit, dass der Unterschied zwischen den Conversion Rates einer gewählten Variante und der Kontrollvariante nicht auf einen Zufall zurückzuführen ist, sondern auf einen gut geplanten, datengestützten Prozess. In diesem datengestützten Prozess geht es zunächst um das Sammeln von User Insights darüber, wie sie mit Ihrer Website interagieren. Dann verwenden Sie diese die gesammelten Daten zum Formulieren einer wissenschaftlichen Testhypothese.
Ihr Signifikanzniveau spiegelt auch Ihr Maß an Zuversicht und Ihre Risikotoleranz wider.
Führen Sie beispielsweise einen A/B-Test mit einer Signifikanz von 80% durch, können Sie bei der Ermittlung des Gewinners zu 80% sicher sein, dass die erzielten Ergebnisse nicht auf eine zufällige Vermutung oder den Zufall zurückzuführen sind. Darüber hinaus spiegelt die 80%ige Signifikanz auch die 20%ige Chance wider, dass Sie daneben liegen könnten.
Warum ist statistische Signifikanz wichtig?
Damit A/B-Tests erfolgreich sind, sollten die Testergebnisse statistisch signifikant sein. Sie können nicht mit Sicherheit sagen, wie zukünftige Besucher auf Ihre Website reagieren werden. Alles, was Sie tun können, ist die Beobachtung der nächsten Besucher, Visitor Recordings aufzuzeichnen, das Ganze statistisch zu analysieren und auf dieser Grundlage Änderungen vorzuschlagen und vorzunehmen, um die Erfahrung der nächsten Nutzer zu optimieren. Sie können die Benutzerfreundlichkeit Ihrer Website verbessern, wenn jeder einzelne Schritt unter Berücksichtigung aller Variablen wie dem gesamten Website-Traffic, dem Sample-Traffic, der Testdauer und so weiter geplant wird. Ein gutes Beispiel dafür ist das deutsche Unternehmen Dachfenster-rollo.de, das seine Conversion Rate durch A/B-Tests um 33% verbessern konnte.
Da Ihr Marketing-Team nach exakten Prognosen über zukünftige Besucher Ausschau hält und solche Prognosen mit einer gewissen Unsicherheit behaftet sind, ist eine statistische Signifikanz erforderlich. Statistische Signifikanz ist auch deshalb wichtig, weil sie als Quelle des Vertrauens dient und Ihnen versichert, dass die von Ihnen vorgenommenen Änderungen tatsächlich einen positiven Einfluss auf Ihre Geschäftsziele haben.
Wie lässt sich die statistische Signifikanz eines Tests sicherstellen?
Statistical significance depends on 2
Die statistische Signifikanz hängt von 2 Variablen ab:
- Die Anzahl der Besucher, d. h. Ihre Stichprobengröße.
- Die Anzahl der Conversions, sowohl für der Kontrolle als auch der Variation(en).
Um sicherzustellen, dass Ihre A/B-Tests mit statistischer Signifikanz abgeschlossen werden, planen Sie Ihr Testprogramm unter Berücksichtigung dieser beiden Variablen. Verwenden Sie unseren kostenlosen A/B-Test-Signifikanzrechner, um das Signifikanzniveau Ihres Tests zu ermitteln.
Kostenlos herunterladen: A/B-Testing Leitfaden
Wie wird die statistische Signifikanz für A/B-Tests in einem Excel-Sheet mit Formeln berechnet?
Wir haben eine KOSTENLOSE Tabelle erstellt, in der genau beschrieben ist, wie Sie die statistische Signifikanz in Excel berechnen können. Sie benötigen lediglich die Anzahl der Besucher und Conversions für die Kontrolle und die Variationen. Der Excel-Rechner zeigt Ihnen automatisch die Signifikanz, den p-Wert, den z-Wert und andere relevante Kennzahlen für jede Art von A/B-Splittest (einschließlich Adwords) an. Als Ergänzung zu unserem Artikel über die Mathematik der A/B-Tests und dem kostenlosen Rechner für die statistische Signifikanz von A/B-Tests stellen wir Ihnen die Formel für die Signifikanz von A/B-Tests in Excel zur Verfügung, mit der Sie die Signifikanz der Testergebnisse berechnen können.
Klicken Sie hier, um den Signifikanzrechner für A/B-Tests herunterzuladen (Exceltabelle)
Sie können die Datei gerne an Ihre Freunde und Kollegen weitergeben oder auch in Ihrem Blog und in den sozialen Medien veröffentlichen.
PS: Übrigens, falls Sie schnell Kalkulationen durchführen möchten, haben wir eine Version dieses A/B-Test-Signifikanzrechners auf Google Sheets gehostet
(Bevor Sie Änderungen vornehmen können, müssen Sie eine Kopie des Google Sheets in Ihrem eigenen Google-Konto erstellen.)
Bei VWO sind wir davon überzeugt, dass das Verständnis für die Statistiken hinter A/B-Tests keine Kopfschmerzen bereiten sollte. Das erledigt Ihr Tool für Sie. Wenn Sie VWO SmartStats ausprobieren möchten, um intuitive und intelligente Berichte über Ihre A/B-Tests zu erhalten, können Sie es kostenlos testen.
Häufig gestellte Fragen
Der p-Wert oder Wahrscheinlichkeitswert ist ein statistisches Maß, das hilft, die Gültigkeit einer Hypothese auf der Grundlage beobachteter Daten zu bestimmen. Normalerweise gilt ein p-Wert von 0,05 oder weniger als statistisch signifikant und deutet auf starke Evidenz gegen die Nullhypothese hin. Wenn der p-Wert gleich oder kleiner als 0,05 ist, zeigt dies an, dass es gute Anzeichen gegen die Nullhypothese gibt und eine Alternativhypothese unterstützt wird.
Ein p-Wert von 0,05 ist ein allgemein akzeptierter Schwellenwert für statistische Signifikanz in einem Excel. Dies bedeutet, dass eine 5 %ige Chance besteht, dass das beobachtete Ergebnis auf einen Zufall zurückzuführen ist und die Nullhypothese wahr ist. Wenn der p-Wert kleiner oder gleich 0,05 ist, dient er als Beweis gegen die Nullhypothese und unterstützt die Alternativhypothese. Ein Beispiel: Sie haben zwei Datensätze, A und B, und bestimmen den statistischen Unterschied zwischen ihren Mittelwerten. Wenn Sie die statistische Signifikanz in Excel berechnen, erhalten Sie einen p-Wert von 0,03. Mit diesem Ergebnis können Sie schlussfolgern, dass die Daten einen starken Beweis für die Ablehnung der Nullhypothese und den signifikanten Unterschied zwischen den Datensätzen A und B liefern.
Einfach gesagt, kann der p-Wert als „Wahrscheinlichkeit des Zufalls“ betrachtet werden. Er quantifiziert die Wahrscheinlichkeit, dass die beobachteten Ergebnisse durch Zufall zustande kommen, wobei davon ausgegangen wird, dass es keinen tatsächlichen Unterschied zwischen den Mittelwerten zweier Datensätze gibt. Ein niedriger p-Wert bedeutet, dass die Ergebnisse mit geringerer Wahrscheinlichkeit zufällig sind oder eher auf einen bedeutenden Effekt hindeuten.
Die Interpretation des p-Wertes muss jedoch zusammen mit anderen Faktoren wie Stichprobengröße, Test, Dauer, Kontext der Untersuchung usw. berücksichtigt werden, um statistisch signifikante Ergebnisse zu erzielen.
Sie können zwar die Formel für die Signifikanz von A/B-Tests in Excel verwenden, aber wir empfehlen Ihnen, unseren Rechner für die statistische Signifikanz von A/B-Tests auszuprobieren. Mit diesem kostenlosen Rechner können Sie genaue Berechnungen durchführen, ohne zu viel Zeit für die Ermittlung der statistischen Signifikanz aufzuwenden. Vielmehr können Sie die eingesparte Zeit für andere wichtige Aktivitäten wie die Formulierung von Hypothesen, die Analyse von Testergebnissen und die Untersuchung des Nutzerverhaltens verwenden. Warum sollten Sie sich Gedanken machen, wenn Sie das richtige Tool auswählen, um diese Aufgabe für Sie zu erledigen?
Categories:
