Bayesian

Was ist die Bayes’sche Theorie (Bayesian Theory)?

Bayesian gehört zu einem von zwei einander ausschließenden fundamentalen Ansätzen in der Statistik (der andere ist die Frequentistische Statistik) und kann verwendet werden, um jedes statistische Problem zu modellieren. Bayesian betrachten den interessierenden Parameter als subjektiv – also als eine Verteilung von Möglichkeiten –, die durch eine Glaubensverteilung (Prior) beschrieben wird und sich durch Beobachtungen aktualisiert.

Frequentisten hingegen betrachten den interessierenden Parameter als objektiv – als einen wahren Punktwert – und stützen sich auf vielfaches Stichprobenziehen, um sich dem wahren Wert anzunähern.

Ein tieferes Verständnis für den Unterschied zwischen beiden Denkrichtungen erfordert eine eingehende Auseinandersetzung mit der Thematik „Bayesian vs. Frequentist Statistics“.Bayes’sche Methoden ermöglichen es Analysten, ihre Vorannahmen in die Forschung einzubringen, während sie einen interessierenden Parameter schätzen.
Das Framework erlaubt es, mit einem Prior zu starten und dieses Wissen mit neuen Beobachtungsdaten zu aktualisieren. Die Integration von Vorwissen mit aktuellen Daten erfolgt über den Satz von Bayes.

Beispiel:
Angenommen, Sie möchten die durchschnittliche Körpergröße eines US-Amerikaners schätzen. Ein Statistiker könnte eine anfängliche Annahme haben, dass die Körpergröße zwischen 50 cm und 250 cm liegt. Die Studie würde die Messung der Körpergröße mehrerer Amerikaner umfassen, und je mehr Personen in die Studie einbezogen werden, desto mehr würde sich die Streuung auf die gemessene durchschnittliche Körpergröße konzentrieren.

Die Bedeutung der Bayes’schen Methodik

Bayes’sche Methoden sind bei Parameterschätzungen nützlich, wenn die Datenerhebung für die Modellerstellung kostspielig ist und die Entscheidungsfindung auf der Grundlage begrenzter Daten erfolgen muss. Bei großen Stichprobenumfängen liefern die Bayes’schen Methoden oft ähnliche Ergebnisse wie frequentistische Methoden. 

Beim Testen von Hypothesen ist es viel einfacher, die mit der Bayes’schen Methode erzielten Ergebnisse zu interpretieren als mit ihrem Gegenstück, der Frequentistischen Methode. In der Bayes’schen Sichtweise arbeiten wir mit einem Grad an Gewissheit, der eine Wahrscheinlichkeit darstellt, dass der wahre Wert eines Parameters innerhalb des geschätzten Bereichs liegt. Diese Wahrscheinlichkeit kombiniert unser Wissen über den Wert, das auf früheren Informationen beruht, mit den verfügbaren Daten. Dieser Begriff der Wahrscheinlichkeit unterscheidet sich von einem Frequentismus-Ansatz, bei dem der Grad der Gewissheit unbekannt ist. Eine Hypothese kann dann nach einer Risikobewertung auf der Grundlage dieses Grades an Gewissheit über die posteriore Schätzung ausgewählt werden.

Was ist Bayes’sche Inferenz?

Bayes’sche Inferenz bedeutet, dass Wissen laufend aktualisiert wird, sobald neue Daten hinzukommen. Als Bayes’scher Analyst können Sie selten eine absolute Gewissheit erreichen, aber Sie können ein hohes Maß an Vertrauen gewinnen – und je nach Grad dieses Vertrauens fundierte Entscheidungen treffen. Das ist das Wesentliche. In der Bayes’schen Statistik sind alle beobachteten und unbeobachteten Parameter eines statistischen Modells mit Wahrscheinlichkeitsverteilungen verbunden, die als Prior- und Datenverteilungen bezeichnet werden.
Der typische Bayes’sche Arbeitsablauf umfasst die folgenden drei Hauptschritte: 

• Wahl einer geeigneten Prior-Verteilung, die das vorhandene Wissen über einen Parameter in einem statistischen Modell widerspiegelt. Diese wird in der Regel vor der Datensammlung festgelegt.
• Auswahl einer Likelihood-Funktion, die Informationen über die verfügbaren Parameter und die beobachteten Daten enthält.
• Kombination der Prior-Verteilung und der Likelihood-Funktion mithilfe des Satzes von Bayes, um die Posterior-Verteilung der Parameter zu erhalten.

Die posteriore Verteilung spiegelt das aktualisierte Wissen wider, das sich aus der Kombination von vorherigem Wissen und den beobachteten Daten ergibt, und wird später verwendet, um Schlussfolgerungen zu ziehen. 

Bei einem A/B-Tests ermöglicht die Berechnung der Posterior-Verteilung für jede Variante Aussagen wie:
„Wie hoch ist die Wahrscheinlichkeit, dass Variante A bei einer bestimmten Metrik besser abschneidet als Variante B?“
Das Ergebnis ist eine leicht interpretierbare Darstellung, die Analysten hilft, fundierte Erkenntnisse zu entwickeln und diese optimal mit Kollegen zu teilen, um in komplexen Geschäftsszenarien bessere Entscheidungen zu treffen.

Stärken der Bayes’schen Methodologie

• Bietet eine fundierte und natürliche Möglichkeit, Fachwissen mit Daten zu kombinieren. Sie können Informationen aus vergangenen Experimenten über Parameter einbeziehen und eine Prioritätsverteilung für zukünftige Experimente bilden. Bei neuen Beobachtungen können die Posterioren vergangener Experimente als aktuelle Prioren verwendet werden, um das neue Posterior zu erhalten.
• Es liefert interpretierbare Antworten. Zum Beispiel: „Mit einer Wahrscheinlichkeit von 0,9 liegt der wahre Parameter in einem glaubwürdigen Intervall von 90%.“
• Es bietet einen natürlichen Rahmen für eine breite Palette parametrischer Modelle wie hierarchische Modelle und Probleme mit fehlenden Daten. MCMC bietet, zusammen mit anderen numerischen Methoden, einen nachvollziehbaren Berechnungsentwurf für alle parametrischen Modelle.
• Keine Mindestdaten – Im Gegensatz zu Frequentist sind für die Arbeit mit einer auf Bayes’scher Statistik basierenden Methodik keine Mindestdaten erforderlich. Da das Konzept der Ungewissheit bereits in ein Bayes’sches System eingebaut ist, bleiben die daraus gewonnenen Metriken gültig.

Grenzen der Bayes’schen Methode

• Die Auswahl der Prioritäten ist nicht standardisiert – Es gibt keine klar definierte Methode zur Auswahl einer Priorität. Es bedarf spezieller Fähigkeiten, um subjektive Vorannahmen in eine mathematisch formulierte Priorität zu übersetzen. Die erzielten Ergebnisse können irreführend sein, wenn die gewählte Priorität keinen Sinn ergibt. 
• Sind es weniger Daten, werden die Posterior-Verteilungen stark von den Prioren beeinflusst. Aus praktischer Sicht könnte es zu Diskussionen führen, wenn kein Konsens über die Gültigkeit des gewählten Priors erzielt wird.
• Bayes’sche Methoden sind oft mit einem hohen Rechenaufwand verbunden, insbesondere wenn eine große Anzahl von Parametern beteiligt ist. Im Laufe der Jahre sind jedoch viele Bayes’sche Methoden entwickelt worden, die für bestimmte Anwendungsfälle rechnerisch effizient sind. 

Wie nutzt VWO die Bayes’sche Methodologie?

VWO wird von einer Bayes’schen Statistik-Engine angetrieben, bei der die Parameter jeder Variante in einem A/B-Test mit einer Wahrscheinlichkeitsverteilung verknüpft sind.
Sobald im Test Daten gesammelt werden, werden diese Verteilungen mithilfe des Satzes von Bayes aktualisiert. Anschließend werden die Entscheidungsmetriken, die in unserem Bericht angezeigt werden, auf Basis dieser aktualisierten Verteilungen berechnet. Weitere Details zur mathematischen Grundlage unserer Bayes’schen Modellierung finden Sie im VWO Whitepaper, um die mathematischen Grundlagen unserer Bayes’schen Modellierung zu verstehen. Sie können auch eine kostenlose 30-Tage-Testversion nutzen, um unsere Berichterstattung im Detail zu erkunden.