Navigation überspringen
VWO Logo VWO Logo
Dashboard
DEMO ANFORDERN

A/B-Test-Signifikanz-Rechner

Mit ❤️ gemacht für Test-, Optimierungs-, UX-, CRO- und Design-Teams.

Zahl der Besucher
Zahl der Conversions
Control
Zahl der Besucher
Zahl der Conversions
Variation
Zahl der Besucher
Zahl der Conversions

P-Value

0

Significant?

Yes

Der P-Wert ist x.xx. Ihre Ergebnisse sind also statistisch signifikant!

Was meinen Sie, was das bedeutet?

Super, Sie verstehen, wofür der p-Wert steht! Leider sind die meisten Menschen nicht in der Lage, p-Werte richtig zu interpretieren. Aus diesem Grund haben wir VWO SmartStats entwickelt, eine Bayessche Statistik-Engine, die auf einen p-Wert vollständig verzichtet.

Leider bedeutet dies nicht der p-Wert. Keine Sorge, die meisten Leute sind nicht in der Lage, p-Werte richtig zu interpretieren. Aus diesem Grund haben wir VWO SmartStats entwickelt, eine Bayessche Statistik-Engine, die auf einen p-Wert vollständig verzichtet.

Variations
Conversion Rate
Improvement
Wahrscheinlichkeit
am besten zu sein
Absolute
potential loss
Conversions/
Visitors
C Control Baseline
V Variation -
Uncertainty Overlap
Variations Conversion Rate
Improvement
Significance Value
Conversions/
Visitors
C Control Baseline -
V Variation -

P-Value

(Bereich von 0-1)

0.334

Significance

No

Darum verwenden wir Bayes'sche Statistik

Intuitive Testberichte

Unsere nicht in Statistik geschulten Anwender interpretierten den frequentistischen p-Wert häufig (und falsch) als Bayes'sche Posterior-Wahrscheinlichkeit - die Wahrscheinlichkeit, dass die Variation besser ist als die Kontrolle. Also haben wir die erste Bayes'sche Statistik-Engine der Branche entwickelt, die Ihnen ein leicht verständliches Ergebnis liefert. Ein intuitives Ergebnis stellt sicher, dass Sie bei A/B-Tests des Umsatzes oder anderer wichtiger KPIs keine Fehler machen.

Erstellen von A/B-Testvariationen

Keine Mindestgröße bei Stichproben erforderlich

VWO SmartStats basiert auf Bayes'scher Inferenz, die im Gegensatz zu einem frequentistischen Ansatz keine Mindeststichprobengröße benötigt. So können Sie A/B-Tests auch auf Teilen Ihrer Website oder Apps durchführen, die nur wenig Traffic erhalten. Wenn Sie jedoch mehr Traffic auf Ihre Tests bekommen, kann VWO Ihre Conversion Rates mit größerer Sicherheit bestimmen, sodass Ihre Testergebnisse genauer werden.

Erstellen von A/B-Testvariationen

Kommen Sie schneller an umsetzbare Resultate

Bei der Entwicklung von VWO SmartStats richtete sich unser Fokus auf eine wichtige Kennzahl: Geschwindigkeit. Wir haben einen Teil der Genauigkeit für die Geschwindigkeit aufgegeben. Nicht viel, nur ein kleines bisschen, genug, um schnellere Ergebnisse zu erzielen, ohne Ihr Endergebnis zu beeinträchtigen. Dadurch gewinnen Sie Zeit und können mehr testen. Und für den Fall, dass Sie absolut sicher sein wollen, berechnen wir den maximal möglichen Verlust, den Sie in Kauf nehmen würden, und Sie können entscheiden, ob der Verlustwert Ihrer Risikobereitschaft entspricht.

Erstellen von A/B-Testvariationen

Häufig gestellte Fragen

Die Nullhypothese gibt an, dass zwischen der Kontrolle und der Variation kein Unterschied besteht. Das bedeutet im Prinzip, dass die Konversionsrate der Variation ähnlich sein wird wie die Konversionsrate der Kontrolle.

Der P-Wert ist definiert als die Wahrscheinlichkeit, ein mindestens so extremes Ergebnis wie die beobachteten zu erhalten, vorausgesetzt, die Nullhypothese ist korrekt, wobei die Variante und Kontrolle bei der Nullhypothese beim A/B-Testing gleich sind.

Die statistische Signifikanz misst, ob ein erhaltenes Ergebnis aufgrund einer Möglichkeit oder einer interessanten Tatsache wahrscheinlich ist. Wenn ein Ergebnis signifikant ist, bedeutet das im Prinzip, dass man darauf vertrauen kann, dass eine Differenz real ist (und man nicht einfach nur Glück oder Pech bei der Auswahl des Beispiels hatte).

Die statistische Trennschärfe ist die Wahrscheinlichkeit, eine Folge zu finden, wenn die Folge real ist. Eine statistische Trennschärfe von 80 % bedeutet also, dass bei 100 Tests mit unterschiedlichen Variationen 20 Tests zu dem Schluss kommen werden, dass die Variationen gleich sind und keine Folge existiert.

A/B-Tests schnell und einfach durchführen. Jetzt VWO kostenlos ausprobieren.

KOSTENLOS AUSPROBIEREN DEMO ANFORDERN
Dies ist die durchschnittliche Conversion-Rate, die Sie aufgrund der Variation erwarten können. Die Conversion-Raten „Best Case“ und „Worst Case“ stellen das glaubwürdige Intervall von 99 % dar, in dem die Conversion-Rate wahrscheinlich enthalten ist.
Dies ist die mittlere Verbesserung, die Sie gegenüber dem Ausgangswert erwarten können, wenn Sie die Variation implementieren. Die Werte für „Best Case“ und „Worst Case“ stellen das 99 %-Glaubwürdigkeitsintervall dar, in dem eine Verbesserung wahrscheinlich eingedämmt wird.
Die Wahrscheinlichkeit, dass eine Variation besser abschneidet als alle anderen Variationen, einschließlich der Kontrolle.
Das Verhältnis der Anzahl der Conversions zur Gesamtzahl der Besucher.
In dem Bereich, in dem sich die Variationen überschneiden, sind wir unsicher, welche Variation besser abschneidet. Wenn Ihre Variante mit der besten Leistung viele Unsicherheitsüberschneidungen aufweist, empfehlen wir Ihnen dringend, den Test über einen längeren Zeitraum durchzuführen.
Um wie viel Ihre Conversion-Rate noch verbessert werden könnte. Wenn Ihr absoluter potenzieller Verlust 2 % beträgt und die erwartete Conversion-Rate 10 % beträgt, bedeutet dies, dass Sie noch eine Chance haben, diese Conversion-Rate zu verbessern und auf 12 % zu erhöhen.
Gibt das Vertrauen an, das Sie einer Variation haben können, um eine bessere Leistung als die Kontrolle zu erzielen. Je höher das Signifikanzniveau ist, desto größer sind die Chancen, dass die Variation besser abschneidet als die Kontrolle (Originalversion). Eine Chance von 95 %, die Kontrolle zu schlagen, bedeutet beispielsweise, dass Sie das Vertrauensniveau von 95 % haben, dass eine Variation besser konvertiert wird als die Kontrolle. Beachten Sie jedoch, dass es immer noch eine Wahrscheinlichkeit von 5 % gibt, dass die Variation möglicherweise nicht so liefert, wie Sie es sich vorgestellt haben. Mehrere Faktoren beeinflussen das Signifikanzniveau einer Variation, einschließlich der Dauer des Tests, der Anzahl der beteiligten Besucher usw.

All you Need to Know About Conversion Optimization Get the Guide