A/B-Test-Signifikanz-Rechner
Mit ❤️ gemacht für Test-, Optimierungs-, UX-, CRO- und Design-Teams.
P-Value
0Significant?
YesDer P-Wert ist x.xx. Ihre Ergebnisse sind also statistisch signifikant!
Super, Sie verstehen, wofür der p-Wert steht! Leider sind die meisten Menschen nicht in der Lage, p-Werte richtig zu interpretieren. Aus diesem Grund haben wir VWO SmartStats entwickelt, eine Bayessche Statistik-Engine, die auf einen p-Wert vollständig verzichtet.
Leider bedeutet dies nicht der p-Wert. Keine Sorge, die meisten Leute sind nicht in der Lage, p-Werte richtig zu interpretieren. Aus diesem Grund haben wir VWO SmartStats entwickelt, eine Bayessche Statistik-Engine, die auf einen p-Wert vollständig verzichtet.
P-Value
(Bereich von 0-1)0.334
Significance
No
Darum verwenden wir Bayes'sche Statistik
Intuitive Testberichte
Unsere nicht in Statistik geschulten Anwender interpretierten den frequentistischen p-Wert häufig (und falsch) als Bayes'sche Posterior-Wahrscheinlichkeit - die Wahrscheinlichkeit, dass die Variation besser ist als die Kontrolle. Also haben wir die erste Bayes'sche Statistik-Engine der Branche entwickelt, die Ihnen ein leicht verständliches Ergebnis liefert. Ein intuitives Ergebnis stellt sicher, dass Sie bei A/B-Tests des Umsatzes oder anderer wichtiger KPIs keine Fehler machen.
Keine Mindestgröße bei Stichproben erforderlich
VWO SmartStats basiert auf Bayes'scher Inferenz, die im Gegensatz zu einem frequentistischen Ansatz keine Mindeststichprobengröße benötigt. So können Sie A/B-Tests auch auf Teilen Ihrer Website oder Apps durchführen, die nur wenig Traffic erhalten. Wenn Sie jedoch mehr Traffic auf Ihre Tests bekommen, kann VWO Ihre Conversion Rates mit größerer Sicherheit bestimmen, sodass Ihre Testergebnisse genauer werden.
Kommen Sie schneller an umsetzbare Resultate
Bei der Entwicklung von VWO SmartStats richtete sich unser Fokus auf eine wichtige Kennzahl: Geschwindigkeit. Wir haben einen Teil der Genauigkeit für die Geschwindigkeit aufgegeben. Nicht viel, nur ein kleines bisschen, genug, um schnellere Ergebnisse zu erzielen, ohne Ihr Endergebnis zu beeinträchtigen. Dadurch gewinnen Sie Zeit und können mehr testen. Und für den Fall, dass Sie absolut sicher sein wollen, berechnen wir den maximal möglichen Verlust, den Sie in Kauf nehmen würden, und Sie können entscheiden, ob der Verlustwert Ihrer Risikobereitschaft entspricht.
Häufig gestellte Fragen
Die Nullhypothese gibt an, dass zwischen der Kontrolle und der Variation kein Unterschied besteht. Das bedeutet im Prinzip, dass die Konversionsrate der Variation ähnlich sein wird wie die Konversionsrate der Kontrolle.
Der P-Wert ist definiert als die Wahrscheinlichkeit, ein mindestens so extremes Ergebnis wie die beobachteten zu erhalten, vorausgesetzt, die Nullhypothese ist korrekt, wobei die Variante und Kontrolle bei der Nullhypothese beim A/B-Testing gleich sind.
Die statistische Signifikanz misst, ob ein erhaltenes Ergebnis aufgrund einer Möglichkeit oder einer interessanten Tatsache wahrscheinlich ist. Wenn ein Ergebnis signifikant ist, bedeutet das im Prinzip, dass man darauf vertrauen kann, dass eine Differenz real ist (und man nicht einfach nur Glück oder Pech bei der Auswahl des Beispiels hatte).
Die statistische Trennschärfe ist die Wahrscheinlichkeit, eine Folge zu finden, wenn die Folge real ist. Eine statistische Trennschärfe von 80 % bedeutet also, dass bei 100 Tests mit unterschiedlichen Variationen 20 Tests zu dem Schluss kommen werden, dass die Variationen gleich sind und keine Folge existiert.
