VWO Logo
Demo anfordern
Dashboard
Folgen Sie uns und bleiben Sie auf dem Laufenden beim Thema CRO.

A/B-Test-Rechner für statistische Signifikanz [Kostenlose Exceltabelle]

7 Min. Lesezeit

Die Statistik der A/B-Test-Ergebnisse kann verwirrend sein, wenn Sie die genauen Formeln nicht kennen. Wir hatten bereits einen Artikel über die Mathematik von A/B-Tests veröffentlicht und bieten auf unserer Website einen Rechner für die statistische Signifikanz von A/B-Tests an. Damit können Sie überprüfen, ob Ihre Ergebnisse signifikant sind oder nicht.

Der Rechner stellt eine Schnittstelle zur Verfügung, mit der Sie die statistische Signifikanz Ihres A/B-Tests berechnen können, gibt Ihnen aber nicht die Formeln an die Hand, mit denen Sie diese berechnen können. Dieser Artikel hingegen bietet eine Einführung in die Statistik von A/B-Tests und erläutert sowohl die Mathematik, die hinter A/B-Split-Tests steckt, als auch die Bedeutung der statistischen Signifikanz

Kostenlos herunterladen: A/B-Testing Leitfaden

Mit der A/B-Testing-Lösung von VWO konnte das Einzelhandelsunternehmen Greene seinen Umsatz um fast 60 % steigern. Die Durchführung und Interpretation von A/B-Tests kann jedoch kompliziert sein. 

Dank der A/B-Testing-Lösungen von VWO konnte das Einzelhandelsunternehmen Greene seinen Umsatz um fast 60% steigern. Die Interpretation von A/B-Tests kann allerdings knifflig sein. Wenn Sie also nicht an die Prognosen von A/B-Testergebnissen mithilfe der indischen Astrologie glauben, erfahren Sie in diesem Blog, wie Sie die statistische Signifikanz Ihrer Tests einfach berechnen können.

Das „Was“, „Warum“ und „Wie“ der statistischen Signifikanz

Bevor wir uns mit komplexen Formeln zur statistischen Signifikanz befassen, sollten wir erst einmal verstehen, was das ist, warum es wichtig ist und wie man sicherstellt, dass die Tests mit statistischer Signifikanz abgeschlossen werden.

Was ist statistische Signifikanz?

Statistische Signifikanz ist nichts anderes als die Wahrscheinlichkeit, dass der Unterschied zwischen den Conversion Rates einer gewählten Variante und der Kontrollvariante nicht auf einen Zufall zurückzuführen ist, sondern auf einen gut geplanten, datengestützten Prozess. In diesem datengestützten Prozess geht es  zunächst um das Sammeln von User Insights darüber, wie sie mit Ihrer Website interagieren. Dann verwenden Sie diese die gesammelten Daten zum Formulieren einer wissenschaftlichen Testhypothese.

Ihr Signifikanzniveau spiegelt auch Ihr Maß an Zuversicht und Ihre Risikotoleranz wider.

Führen Sie beispielsweise einen A/B-Test mit einer Signifikanz von 80% durch, können Sie bei der Ermittlung des Gewinners zu 80% sicher sein, dass die erzielten Ergebnisse nicht auf eine zufällige Vermutung oder den Zufall zurückzuführen sind. Darüber hinaus spiegelt die 80%ige Signifikanz auch die 20%ige Chance wider, dass Sie daneben liegen könnten.

Warum ist statistische Signifikanz wichtig?

Damit A/B-Tests erfolgreich sind, sollten die Testergebnisse statistisch signifikant sein. Sie können nicht mit Sicherheit sagen, wie zukünftige Besucher auf Ihre Website reagieren werden. Alles, was Sie tun können, ist die Beobachtung der nächsten Besucher, Visitor Recordings aufzuzeichnen, das Ganze statistisch zu analysieren und auf dieser Grundlage Änderungen vorzuschlagen und vorzunehmen, um die Erfahrung der nächsten Nutzer zu optimieren. Sie können die Benutzerfreundlichkeit Ihrer Website verbessern, wenn jeder einzelne Schritt unter Berücksichtigung aller Variablen wie dem gesamten Website-Traffic, dem Sample-Traffic, der Testdauer und so weiter geplant wird. Ein gutes Beispiel dafür ist das deutsche Unternehmen Dachfenster-rollo.de, das seine Conversion Rate durch A/B-Tests um 33% verbessern konnte.

Da Ihr Marketing-Team nach exakten Prognosen über zukünftige Besucher Ausschau hält und solche Prognosen mit einer gewissen Unsicherheit behaftet sind, ist eine statistische Signifikanz erforderlich. Statistische Signifikanz ist auch deshalb wichtig, weil sie als Quelle des Vertrauens dient und Ihnen versichert, dass die von Ihnen vorgenommenen Änderungen tatsächlich einen positiven Einfluss auf Ihre Geschäftsziele haben.

Wie lässt sich die statistische Signifikanz eines Tests sicherstellen?

Statistical significance depends on 2

Die statistische Signifikanz hängt von 2 Variablen ab:

  • Die Anzahl der Besucher, d. h. Ihre Stichprobengröße.
  • Die Anzahl der Conversions, sowohl für der Kontrolle als auch der Variation(en).

Um sicherzustellen, dass Ihre A/B-Tests mit statistischer Signifikanz abgeschlossen werden, planen Sie Ihr Testprogramm unter Berücksichtigung dieser beiden Variablen. Verwenden Sie unseren kostenlosen A/B-Test-Signifikanzrechner, um das Signifikanzniveau Ihres Tests zu ermitteln.

Kostenlos herunterladen: A/B-Testing Leitfaden

Wie wird die statistische Signifikanz für A/B-Tests in einem Excel-Sheet mit Formeln berechnet?

Wir haben eine KOSTENLOSE Tabelle erstellt, in der genau beschrieben ist, wie Sie die statistische Signifikanz in Excel berechnen können. Sie benötigen lediglich die Anzahl der Besucher und Conversions für die Kontrolle und die Variationen. Der Excel-Rechner zeigt Ihnen automatisch die Signifikanz, den p-Wert, den z-Wert und andere relevante Kennzahlen für jede Art von A/B-Splittest (einschließlich Adwords) an. Als Ergänzung zu unserem Artikel über die Mathematik der A/B-Tests und dem kostenlosen Rechner für die statistische Signifikanz von A/B-Tests stellen wir Ihnen die Formel für die Signifikanz von A/B-Tests in Excel zur Verfügung, mit der Sie die Signifikanz der Testergebnisse berechnen können.

statistical significance calculator in excel sheet

Klicken Sie hier, um den Signifikanzrechner für A/B-Tests herunterzuladen (Exceltabelle)

Sie können die Datei gerne an Ihre Freunde und Kollegen weitergeben oder auch in Ihrem Blog und in den sozialen Medien veröffentlichen.

PS: Übrigens, falls Sie schnell Kalkulationen durchführen möchten, haben wir eine Version dieses A/B-Test-Signifikanzrechners auf Google Sheets gehostet

(Bevor Sie Änderungen vornehmen können, müssen Sie eine Kopie des Google Sheets in Ihrem eigenen Google-Konto erstellen.)

Bei VWO sind wir davon überzeugt, dass das Verständnis für die Statistiken hinter A/B-Tests keine Kopfschmerzen bereiten sollte. Das erledigt Ihr Tool für Sie. Wenn Sie VWO SmartStats ausprobieren möchten, um intuitive und intelligente Berichte über Ihre A/B-Tests zu erhalten, können Sie es kostenlos testen.

Banner Ab Test Statistical Significance Calculator

Häufig gestellte Fragen

Was ist ein statistisch signifikanter p-Wert?

Der p-Wert oder Wahrscheinlichkeitswert ist ein statistisches Maß, das hilft, die Gültigkeit einer Hypothese auf der Grundlage beobachteter Daten zu bestimmen.  Normalerweise gilt ein p-Wert von 0,05 oder weniger als statistisch signifikant und deutet auf starke Evidenz gegen die Nullhypothese hin. Wenn der p-Wert gleich oder kleiner als 0,05 ist, zeigt dies an, dass es gute Anzeichen gegen die Nullhypothese gibt und eine Alternativhypothese unterstützt wird. 

Was bedeutet der p-Wert 0,05 in Excel?

Ein p-Wert von 0,05 ist ein allgemein akzeptierter Schwellenwert für statistische Signifikanz in einem Excel. Dies bedeutet, dass eine 5 %ige Chance besteht, dass das beobachtete Ergebnis auf einen Zufall zurückzuführen ist und die Nullhypothese wahr ist. Wenn der p-Wert kleiner oder gleich 0,05 ist, dient er als Beweis gegen die Nullhypothese und unterstützt die Alternativhypothese. Ein Beispiel: Sie haben zwei Datensätze, A und B, und bestimmen den statistischen Unterschied zwischen ihren Mittelwerten. Wenn Sie die statistische Signifikanz in Excel berechnen, erhalten Sie einen p-Wert von 0,03. Mit diesem Ergebnis können Sie schlussfolgern, dass die Daten einen starken Beweis für die Ablehnung der Nullhypothese und den signifikanten Unterschied zwischen den Datensätzen A und B liefern.

Wie kann einem Nicht-Statistiker der p-Wert erklärt werden?

Einfach gesagt, kann der p-Wert als „Wahrscheinlichkeit des Zufalls“ betrachtet werden. Er quantifiziert die Wahrscheinlichkeit, dass die beobachteten Ergebnisse durch Zufall zustande kommen, wobei davon ausgegangen wird, dass es keinen tatsächlichen Unterschied zwischen den Mittelwerten zweier Datensätze gibt. Ein niedriger p-Wert bedeutet, dass die Ergebnisse mit geringerer Wahrscheinlichkeit zufällig sind oder eher auf einen bedeutenden Effekt hindeuten. 


Die Interpretation des p-Wertes muss jedoch zusammen mit anderen Faktoren wie Stichprobengröße, Test, Dauer, Kontext der Untersuchung usw. berücksichtigt werden, um statistisch signifikante Ergebnisse zu erzielen.

Wie wird ein statistisch signifikanter p-Wert berechnet?

Sie können zwar die Formel für die Signifikanz von A/B-Tests in Excel verwenden, aber wir empfehlen Ihnen, unseren Rechner für die statistische Signifikanz von A/B-Tests auszuprobieren. Mit diesem kostenlosen Rechner können Sie genaue Berechnungen durchführen, ohne zu viel Zeit für die Ermittlung der statistischen Signifikanz aufzuwenden. Vielmehr können Sie die eingesparte Zeit für andere wichtige Aktivitäten wie die Formulierung von Hypothesen, die Analyse von Testergebnissen und die Untersuchung des Nutzerverhaltens verwenden. Warum sollten Sie sich Gedanken machen, wenn Sie das richtige Tool auswählen, um diese Aufgabe für Sie zu erledigen?

Categories:
Paras Chopra
Paras Chopra Ich habe Wingify Anfang 2009 gegründet, um es Unternehmen zu ermöglichen, großartige Kundenerlebnisse für ihre Websites und Apps zu entwickeln und bereitzustellen. Ich habe einen Hintergrund in maschinellem Lernen und bin ein Goldmedaillengewinner des Delhi College of Engineering. Ich wurde zweimal in die Forbes 30 under 30 Liste aufgenommen - in Indien und Asien. Von Beruf bin ich Unternehmer und meine Neugierde ist sehr groß. Folgen Sie mir unter @paraschopra auf Twitter. Sie können mir eine E-Mail an paras@wingify.com schicken.
Share
Verwandte Inhalte

Leitfaden

A/B Testing
Mehr von VWO am A/B Testing
A/B-Tests von Texten für Websites mit GPT-3.5 Turbo eröffnen neue Möglichkeiten für Experimente mit KI

A/B-Tests von Texten für Websites mit GPT-3.5 Turbo eröffnen neue Möglichkeiten für Experimente mit KI

Von der anfänglichen Unterstützung des Menschen bei überflüssigen und manuellen Aufgaben bis hin zur Bewältigung…

Mehr lesen
Shubhi Ahluwalia

Shubhi Ahluwalia

8 Min. Lesezeit
15 A/B-Testing-Tools & Ressourcen für 2023 [auch kostenlose!]

15 A/B-Testing-Tools & Ressourcen für 2023 [auch kostenlose!]

*Hinweis: Dieser Beitrag wurde kürzlich aktualisiert.Die Links zu den aufgeführten Quellen finden Sie am Ende…

Mehr lesen
Paras Chopra

Paras Chopra

6 Min. Lesezeit
A/B-Tests und Split-Tests für die Preisgestaltung? – Hier erfahren Sie, wie es funktioniert

A/B-Tests und Split-Tests für die Preisgestaltung? – Hier erfahren Sie, wie es funktioniert

Es gibt ein Frage, die besonders gefürchtet wird: Zu welchem Preis sollte ich mein neues…

Mehr lesen
Paras Chopra

Paras Chopra

7 Min. Lesezeit

Skalieren Sie Ihre A/B-Tests und Experimente mit VWO.

Kostenlos ausprobieren Demo anfordern

DOWNLOAD A/B TESTING FREE E-BOOK