{"id":88121,"date":"2020-03-24T18:16:37","date_gmt":"2020-03-24T12:46:37","guid":{"rendered":"https:\/\/vwo.com\/blog\/multi-armed-bandit-algorithm\/"},"modified":"2025-04-21T15:42:14","modified_gmt":"2025-04-21T10:12:14","slug":"multi-armed-bandit-algorithmus","status":"publish","type":"post","link":"https:\/\/vwo.com\/blog\/de\/multi-armed-bandit-algorithmus\/","title":{"rendered":"Multi-Armed Bandit (MAB) \u2013 Reibungsloses A\/B-Testen"},"content":{"rendered":"\n

Die meisten Leser dieses Blogs d\u00fcrften mit A\/B-Tests<\/a> vertraut sein. Zur Erinnerung: A\/B-Tests sind Experimente, bei denen einem zuf\u00e4lligen Besucher Ihres digitalen Angebots eine andere Version als das Original (auch „Kontrolle“ genannt) gezeigt wird, um eine optimale Version zu finden, die die Konversionen maximiert. <\/p>\n\n\n\n

Vielleicht ist es zum Beispiel die rote Schaltfl\u00e4che, die die Klicks maximiert hat, oder vielleicht ist es die blaue Schaltfl\u00e4che. Wer wei\u00df? Nun, Ihr A\/B-Test wird es wissen. Systematisch durchgef\u00fchrte A\/B-Tests mit effektiven A\/B-Testing-Tools<\/a> k\u00f6nnen zu einer erheblichen Verbesserung der Konversionsrate f\u00fchren, wie die Tinkoff Bank in Moskau mit einer Steigerung von 36 %<\/a> feststellen konnte.<\/p>\n\n\n\n

Bei diesem Bestreben, die Konversionen zu maximieren, sind jedoch Kosten unvermeidlich – w\u00e4hrend die A\/B-Tests laufen, wird ein betr\u00e4chtlicher Teil des Traffics auf eine unterlegene Variante umgeleitet, was sich direkt auf die Gesch\u00e4ftskennzahlen (wie Verk\u00e4ufe oder Konversionen) auswirkt. <\/p>\n\n\n\n

Man sagt, dass bei einem A\/B-Test die Kosten f\u00fcr die Steigerung der Konversionen die Konversionen an sich sind. Wir sagen, ‚touche‘.<\/p>\n\n\n\n

Nehmen wir das Beispiel von Jim, einem UX-Analysten, der mit einer Mobilfunkmarke zusammenarbeitet, die n\u00e4chste Woche ihr neuestes und gro\u00dfartigstes Mobiltelefon auf den Markt bringen wird. Um die Nachfrage anzukurbeln und die Verk\u00e4ufe in die H\u00f6he zu treiben, beschlie\u00dft Jim, 3 Tage lang Flash-Sales auf der mobilen App des Unternehmens durchzuf\u00fchren.<\/p>\n\n\n\n

Allerdings gibt es einen Haken: Jim wei\u00df, dass die In-App-Navigation der Marke schlecht ist (er hat eine Umfrage unter aktiven Nutzern durchgef\u00fchrt, um zu diesem Ergebnis zu kommen) und dass die Besucher Schwierigkeiten haben, das Produkt zu finden.<\/p>\n\n\n\n

Um die Navigation zu verbessern, beschlie\u00dft er, ein Experiment durchzuf\u00fchren, bei dem er eine Variante mit einer intuitiveren Navigation erstellt, die die Nutzer direkt in den Flash-Sale-Trichter f\u00fchrt, um zu testen, ob diese Version die Probleme bei der Entdeckung des neuen Handys l\u00f6sen w\u00fcrde. Kurz gesagt, Jim versucht, einen entscheidenden KPI zu verbessern – den Prozentsatz der Sitzungen, in denen die Nutzer das neue Handy entdecken konnten<\/em>.<\/p>\n\n\n\n

Er sieht sich die eingehenden Daten des Experiments an und stellt fest, dass die \u00c4nderungen an der In-App-Navigation einen starken Aufschwung zeigen. Jim ist jedoch ganz aus dem H\u00e4uschen – er m\u00f6chte die ersten Ergebnisse mit der Gesch\u00e4ftsleitung teilen und sie ebenso begeistern. Gerade als er mit einer Kopie der ersten Trends in die Kabine des CMO st\u00fcrmen will, um sie davon zu \u00fcberzeugen, mehr Datenverkehr auf die neue Navigation zu lenken, wird er durch die Bemerkung eines Datenwissenschaftlers aufgehalten.<\/p>\n\n\n\n

„Jim, diese Trends sind gro\u00dfartig, aber sind sie statistisch belastbar? Wo ist die Signifikanz?“<\/p>\n\n\n\n

„Aber wir haben keine Zeit, darauf zu warten! Der Verkauf endet in 3 Tagen!“ Jim st\u00f6hnt.<\/p>\n\n\n\n

Wer hat Recht? Jim, der die Aufgabe hat, innerhalb von 3 Tagen das Bestm\u00f6gliche zu erreichen, oder der Datenwissenschaftler, der die statistische Aussagekraft<\/a> in Frage stellt? Nun, beide haben recht, und hier ist der Grund daf\u00fcr. <\/p>\n\n\n\n

Erinnern Sie sich noch an den Spruch, dass die Kosten f\u00fcr die Steigerung der Konversionen die Konversionen sind? Jims Situation rechtfertigt einen Ansatz, der die Kosten f\u00fcr die Durchf\u00fchrung eines A\/B-Tests minimiert. Der Verlust von Konversionen aufgrund der schlecht funktionierenden Variante wird als Bayes’sches<\/a> Bedauern bezeichnet. <\/p>\n\n\n\n

Die Minimierung des Bedauerns ist besonders wichtig in zeitkritischen Situationen oder in F\u00e4llen, in denen die Kosten f\u00fcr schlechte Variationen so hoch sind, dass Unternehmen z\u00f6gern, A\/B-Tests durchzuf\u00fchren.<\/p>\n\n\n\n

Da Jim sich auf ein Drei-Tages-Fenster verl\u00e4sst, um die Verk\u00e4ufe zu maximieren, kann er nicht auf die statistische Signifikanz warten und dadurch Konversionen verlieren, was manchmal Wochen (oder Monate, bei Websites mit geringem Traffic) dauert. Wenn er auf die statistische Signifikanz wartet, kann er die Ergebnisse nicht mehr nutzen, da das 3-Tage-Fenster dann vorbei ist.<\/p>\n\n\n\n

H\u00e4tte Jim nur die Multi-Arm-Bandit <\/a> Algorithmen zur Verf\u00fcgung, w\u00e4re dieses Problem nicht aufgetreten. Hier ist der Grund.<\/p>\n\n\n\n

\"slot<\/figure>\n\n\n

Was ist ein Multi-Arm-Bandit Test?<\/strong><\/h2>\n\n\n

MAB ist eine Art von A\/B-Testing, bei dem maschinelles Lernen eingesetzt wird, um aus den w\u00e4hrend des Tests gesammelten Daten zu lernen und die Besucherzuteilung dynamisch zu Gunsten der leistungsf\u00e4higeren Varianten zu erh\u00f6hen. Das bedeutet, dass Varianten, die nicht gut sind, im Laufe der Zeit immer weniger Besucher erhalten. <\/p>\n\n\n\n

Das Kernkonzept von MAB ist die ‚dynamische Verkehrszuweisung‘ – eine statistisch robuste Methode, um kontinuierlich zu ermitteln, inwieweit eine Version anderen \u00fcberlegen ist, und den Gro\u00dfteil des Datenverkehrs dynamisch und in Echtzeit an die siegreiche Variante weiterzuleiten.<\/p>\n\n\n\n

Im Gegensatz zu A\/B-Tests maximiert MAB die Gesamtzahl der Konversionen im Verlauf des Tests. Der Nachteil ist, dass die statistische Sicherheit in den Hintergrund tritt, da der Schwerpunkt auf den Konversionen und der Ermittlung der genauen Konversionsraten (aller Varianten, einschlie\u00dflich der schlechtesten) liegt.<\/p>\n\n\n

Was ist das Problem des Multi-Arm-Bandits?<\/strong><\/h2>\n\n\n

MAB ist nach einem Gedankenexperiment benannt, bei dem ein Spieler zwischen mehreren Spielautomaten mit unterschiedlichen Auszahlungen w\u00e4hlen muss. Die Aufgabe des Spielers besteht darin, den Geldbetrag, den er mit nach Hause nimmt, zu maximieren. Stellen Sie sich einen Moment lang vor, Sie w\u00e4ren der Spieler. Wie w\u00fcrden Sie Ihren Gewinn maximieren? <\/p>\n\n\n\n

Da Sie mehrere Spielautomaten zur Auswahl haben, k\u00f6nnen Sie entweder die Auszahlungsm\u00f6glichkeiten ermitteln, indem Sie alle Automaten ausprobieren und so viele Daten sammeln, bis Sie sicher wissen, welcher Automat der beste ist. <\/p>\n\n\n\n

Auf diese Weise erfahren Sie zwar das genaue Auszahlungsverh\u00e4ltnis aller Spielautomaten, aber Sie h\u00e4tten dabei eine Menge Geld f\u00fcr Automaten mit niedrigen Auszahlungen verschwendet. Das ist es, was bei einem A\/B-Test passieren kann. Die Alternative ist, sich schneller auf einige wenige Spielautomaten zu konzentrieren, die Gewinne kontinuierlich auszuwerten und Ihre Investitionen an diesen Spielautomaten zu maximieren, um h\u00f6here Gewinne zu erzielen. Dies geschieht beim Ansatz des Multi-Arm-Bandits.<\/p>\n\n\n\n

\"an<\/figure>\n\n\n\n

Mehrarmiger Bandit bei der Arbeit<\/em><\/p>\n\n\n\n

Bildquelle: towards data science<\/p>\n\n\n

Exploration und Ausbeutung<\/strong><\/h2>\n\n\n

Um den MAB besser zu verstehen, gibt es zwei S\u00e4ulen, die diesen Algorithmus antreiben – „Exploration“ und „Exploitation“. Die meisten klassischen A\/B-Tests befinden sich von vornherein im „Erkundungs“-Modus – schlie\u00dflich ist die Ermittlung statistisch signifikanter Ergebnisse der Grund f\u00fcr ihre Existenz, daher die st\u00e4ndige Erkundung. <\/p>\n\n\n\n

Bei einem A\/B-Test liegt der Schwerpunkt auf der Ermittlung der genauen Konversionsrate von Varianten. MAB f\u00fcgt dem A\/B-Test eine weitere Variante hinzu – die Ausnutzung. Aufgrund der Absicht von MAB, Konversionen und Gewinn zu maximieren, laufen Ausbeutung und Erkundung parallel, \u00e4hnlich wie bei einem Zug. Stellen Sie sich vor, dass der Algorithmus mit einer Rate von vielen Besuchern pro Sekunde erkundet, zu st\u00e4ndig wechselnden Gewinn-Basislinien gelangt und kontinuierlich den Gro\u00dfteil Ihres Traffics dynamisch der Variante zuweist, die in diesem Moment eine h\u00f6here Gewinnchance hat (Ausbeutung).<\/p>\n\n\n\n

Es mag sich so anh\u00f6ren, als ob MAB Heuristiken verwendet, um mehr Datenverkehr auf leistungsf\u00e4higere Varianten zu verteilen. Unter der Haube ist die Implementierung von MAB bei VWO jedoch statistisch robust. VWO verwendet ein mathematisches Modell, um die gesch\u00e4tzten Konversionsraten der Variationen kontinuierlich zu aktualisieren und weist den Traffic direkt proportional zu diesen Sch\u00e4tzungen zu. <\/p>\n\n\n\n

Je besser die Sch\u00e4tzung der leistungsst\u00e4rksten Variante ausf\u00e4llt, desto h\u00f6her ist der prozentuale Anteil dieser Variante am Traffic. Wenn Sie sich f\u00fcr die Mathematik des MAB-Algorithmus von VWO interessieren, sollten Sie mehr \u00fcber das Konzept des Thompson Sampling<\/a> lesen oder eine Demo<\/a> von unseren Optimierungsspezialisten anfordern<\/a>, um mehr \u00fcber die Funktionsweise zu erfahren.<\/p>\n\n\n\n

W\u00e4hrend des Testzyklus balanciert der Algorithmus zwischen Explorations- und Exploitationsphasen. Da die leistungsstarken Versionen mehr Konversionen erzielen, wird der Traffic-Split immer breiter und erreicht einen Punkt, an dem die gro\u00dfe Mehrheit der Nutzer die leistungsst\u00e4rkere Variante erh\u00e4lt. MAB erm\u00f6glicht es Jim aus unserem obigen Beispiel, nach und nach die beste Version seiner mobilen App einzuf\u00fchren, ohne darauf warten zu m\u00fcssen, dass seine Tests statistische Signifikanz erreichen.<\/p>\n\n\n\n

\"Ab<\/figure>\n\n\n\n

Exploration vs. Exploitation bei A\/B-Tests und Bandit-Auswahl<\/p>\n\n\n

Warum A\/B-Tests besser sind als MAB<\/strong><\/h2>\n\n\n

Wenn Sie die Vor- und Nachteile von Multi-Arm-Bandit- und A\/B-Tests abw\u00e4gen, sollten Sie sich dar\u00fcber im Klaren sein, dass beide Tests aufgrund ihrer unterschiedlichen Schwerpunkte unterschiedliche Anwendungsf\u00e4lle l\u00f6sen. Ein A\/B-Test wird durchgef\u00fchrt, um Daten mit der entsprechenden statistischen Sicherheit zu sammeln. Ein Unternehmen verwendet dann die gesammelten Daten, interpretiert sie in einem gr\u00f6\u00dferen Zusammenhang und trifft dann eine Entscheidung. <\/p>\n\n\n\n

Im Gegensatz dazu maximieren Multi-Armed-Bandit-Algorithmen eine bestimmte Metrik (im VWO-Kontext sind das Ums\u00e4tze eines bestimmten Typs). Es gibt keine Zwischenstufe der Interpretation und Analyse, da der MAB-Algorithmus den Traffic automatisch anpasst. Das bedeutet, dass A\/B-Tests perfekt f\u00fcr F\u00e4lle geeignet sind, in denen:<\/p>\n\n\n\n