{"id":87641,"date":"2020-03-24T18:16:37","date_gmt":"2020-03-24T12:46:37","guid":{"rendered":"https:\/\/vwo.com\/blog\/multi-armed-bandit-algorithm\/"},"modified":"2025-04-21T15:40:24","modified_gmt":"2025-04-21T10:10:24","slug":"multi-armed-bandit-algoritmo","status":"publish","type":"post","link":"https:\/\/vwo.com\/blog\/es\/multi-armed-bandit-algoritmo\/","title":{"rendered":"Multi-Armed Bandit (MAB) \u2013 el A\/B Testing constante"},"content":{"rendered":"\n

La mayor\u00eda de los lectores de este blog ya estar\u00e1n familiarizados con el A\/B Testing<\/a>, pero para refrescaros la memoria, el test A\/B es un experimento en el que a un visitante aleatorio que accede a tu web se le ense\u00f1a una versi\u00f3n de la misma que no es la original (conocida como la \u00abversi\u00f3n de control\u00bb), para encontrar la versi\u00f3n que maximiza las conversiones. <\/p>\n\n\n\n

Por ejemplo, puede que utilizar un bot\u00f3n de color rojo haga que se maximicen los clics, o quiz\u00e1 lo haga un bot\u00f3n azul. \u00bfQui\u00e9n sabe? \u00a1Qu\u00e9 complicado! Bien, un test A\/B lo sabr\u00eda resolver. Hacer tests A\/B de forma sistem\u00e1tica, con unas herramientas de A\/B testing<\/a> efectivas, puede llevar a una gran mejora en las conversiones; como comprob\u00f3 el banco Tinkoff, en Mosc\u00fa, con un aumento del 36 %<\/a>.<\/p>\n\n\n\n

Sin embargo, esta b\u00fasqueda de maximizar conversiones tiene un coste inevitable. Mientras que se realizan los tests A\/B, una gran parte del tr\u00e1fico se dirige a una variante perdida que reduce de forma directa las m\u00e9tricas de los negocios (como ventas o conversiones). <\/p>\n\n\n\n

Se dice que en un test A\/B, el coste de aumentar las conversiones son las conversiones en s\u00ed mismas. Y as\u00ed es.<\/p>\n\n\n\n

Pongamos como ejemplo a Jim, un analista de experiencias de usuario, que trabaja para una compa\u00f1\u00eda m\u00f3vil que va a lanzar su \u00faltimo y mejor tel\u00e9fono la semana que viene. Para fomentar la demanda y favorecer las ventas, Jim decide activar las ventas rel\u00e1mpago en la app m\u00f3vil de la compa\u00f1\u00eda durante 3 d\u00edas.<\/p>\n\n\n\n

Pero Jim es consciente de que la navegaci\u00f3n por la app es mala ( lleg\u00f3 a esta conclusi\u00f3n tras hacer una encuesta a usuarios activos) y que los visitantes tendr\u00e1n dificultades para localizar el producto.<\/p>\n\n\n\n

Para mejorar la navegaci\u00f3n, decide hacer un experimento en el que crea una variaci\u00f3n de la web m\u00e1s intuitiva que lleva al usuario directamente al embudo de ventas rel\u00e1mpago y as\u00ed comprobar si esta versi\u00f3n podr\u00eda solucionar las dificultades de llegar hasta el nuevo tel\u00e9fono. En resumen, Jim est\u00e1 intentando mejorar el siguiente Indicador Clave de Rendimiento (KPI en ingl\u00e9s): el porcentaje de sesiones en las que el usuario encontr\u00f3 el nuevo aparato. <\/p>\n\n\n\n

Estudia los datos recogidos en el experimento, y comprueba que los ajustes hechos en la app han resultado ser una gran mejora. Jim est\u00e1 encantado. Quiere compartir sus primeros resultados con el personal directivo para que tambi\u00e9n se entusiasme. Pero justo cuando se dispone a entrar en el despacho de la directora de marketing con una copia de las primeras tendencias para intentar convencerla de que dirija m\u00e1s tr\u00e1fico hacia la nueva navegaci\u00f3n, le asaltan t\u00edpicas dudas de un cient\u00edfico de datos.<\/p>\n\n\n\n

\u00abJim, estas tendencias est\u00e1n genial, pero \u00bfson estad\u00edsticamente s\u00f3lidas? \u00ab\u00bfCu\u00e1l es su relevancia?\u00bb<\/p>\n\n\n\n

\u00ab\u00a1No tenemos tiempo que perder!\u00bb \u00ab\u00a1La oferta acaba en 3 d\u00edas!\u00bb Jim hace una mueca, dubitativo.<\/p>\n\n\n\n

\u00bfQui\u00e9n crees que tiene raz\u00f3n? Jim, cuyo objetivo es obtener los mejores resultados durante los pr\u00f3ximos 3 d\u00edas.  \u00bfO la cient\u00edfica de datos que cuestiona la relevancia estad\u00edstica<\/a>? Ambas partes tienen raz\u00f3n, te explicamos por qu\u00e9. <\/p>\n\n\n\n

\u00bfTe acuerdas de aquella cuesti\u00f3n inicial sobre que el coste de aumentar las conversiones eran las propias conversiones? La situaci\u00f3n de Jim garantiza un enfoque que minimiza el coste de realizar un test A\/B. La p\u00e9rdida de conversiones provocada por una variaci\u00f3n de bajo rendimiento se denomina arrepentimiento bayesiano<\/a>. <\/p>\n\n\n\n

Minimizar este arrepentimiento es particularmente importante en situaciones de urgencia, o en casos en los que el coste de escasez de variaciones sea tan alto que la empresa se plantea si realizar tests A\/B.<\/p>\n\n\n\n

Como Jim solo tiene una ventana de tres d\u00edas de maniobra para maximizar las ventas, no tiene tiempo para preocuparse de la relevancia estad\u00edstica perdiendo conversiones, lo que, a veces, puede llevar semanas (o meses, en webs de poco tr\u00e1fico). Si espera a la relevancia estad\u00edstica, no podr\u00e1 utilizar los resultados porque la ventana de 3 d\u00edas habr\u00e1 finalizado.<\/p>\n\n\n\n

Si Jim hubiera podido utilizar algoritmos Multi-Armed Bandit<\/a> (MAB), nunca hubiera tenido este problema. Y es por lo siguiente.<\/p>\n\n\n\n

\"slot<\/figure>\n\n\n

\u00bfEn qu\u00e9 consiste el multi-armed bandit testing?\u00a0<\/strong><\/strong><\/h2>\n\n\n

El MAB es un tipo de A\/B testing que utiliza el aprendizaje autom\u00e1tico para aprender de los datos recogidos durante el test, e incrementar la distribuci\u00f3n de visitantes de forma din\u00e1mica para obtener variaciones de mejor rendimiento. Lo que quiere decir que, las variaciones que no son buenas van perdiendo cada vez m\u00e1s distribuci\u00f3n de tr\u00e1fico. <\/p>\n\n\n\n

El concepto principal de MAB es conseguir una \u00abdistribuci\u00f3n din\u00e1mica del tr\u00e1fico\u00bb. Es un m\u00e9todo s\u00f3lido estad\u00edsticamente para identificar de manera continua hasta qu\u00e9 punto una versi\u00f3n est\u00e1 superando a las dem\u00e1s y encaminar la mayor parte del tr\u00e1fico de forma din\u00e1mica y en tiempo real a la variante ganadora.<\/p>\n\n\n\n

Al contrario que los tests A\/B, un MAB maximiza el n\u00famero total de conversiones durante el transcurso del test. La contrapartida es que la certeza estad\u00edstica pasa a un segundo plano, ya que la atenci\u00f3n se centra en las conversiones y en averiguar las tasas de conversi\u00f3n exactas (de todas las variaciones, incluidas las de peor rendimiento).<\/p>\n\n\n

\u00bfQu\u00e9 es el problema del multi-armed bandit?<\/strong><\/strong><\/h2>\n\n\n

Se le denomina MAB a un experimento en el que alguien que apuesta tiene que elegir entre varias m\u00e1quinas tragaperras con distintos premios. El objetivo del jugador es maximizar la cantidad de dinero que gana. Imagina por un instante que ese jugador eres t\u00fa. \u00bfC\u00f3mo maximizar\u00edas tus ganancias? <\/p>\n\n\n\n

Como tienes varias m\u00e1quinas entre las que elegir, puedes establecer las posibilidades de conseguir un premio probando suerte en cada m\u00e1quina, observado los datos que te da hasta asegurarte cu\u00e1l es la mejor opci\u00f3n.<\/p>\n\n\n\n

Con esta t\u00e9cnica obtendr\u00e1s el \u00edndice de beneficios exacto de todas las m\u00e1quinas, pero para entonces te habr\u00e1s gastado mucho dinero en el juego y habr\u00e1s obtenido poco beneficio.  Esto tambi\u00e9n puede ocurrir en un test A\/B. La alternativa es: centrarse en menos m\u00e1quinas, evaluar de forma continua las ganancias y maximizar tu inversi\u00f3n en ellas para un mayor reembolso. Esto es lo que ocurre si aplicamos un enfoque multi-armed bandit<\/em>.<\/p>\n\n\n\n

\"an<\/figure>\n\n\n\n

Multi-Armed bandit en acci\u00f3n<\/em><\/em><\/p>\n\n\n\n

Fuente de la imagen: towards data science<\/p>\n\n\n

Exploraci\u00f3n y explotaci\u00f3n<\/strong><\/strong><\/h2>\n\n\n

Para entender mejor el MAB, hay dos pilares que alimentan este algoritmo: \u00abexploraci\u00f3n\u00bb y \u00abexplotaci\u00f3n\u00bb. La mayor\u00eda de los tests A\/B habituales est\u00e1n centrados a prop\u00f3sito en la \u00abexploraci\u00f3n\u00bb. Despu\u00e9s de todo, su raz\u00f3n de ser es determinar resultados estad\u00edsticamente relevantes, es decir, est\u00e1n en exploraci\u00f3n constante. <\/p>\n\n\n\n

Un test A\/B se centra en descubrir  la tasa de conversi\u00f3n exacto de variaciones.  El MAB le da un toque al A\/B testing: la explotaci\u00f3n. Debido al prop\u00f3sito de \u00abmaximizar conversiones y beneficios\u00bb del MAB, la explotaci\u00f3n y exploraci\u00f3n funcionan en paralelo, similar al funcionamiento de las v\u00edas del tren. , Es como si el algoritmo estuviera explorando a muchos visitantes por segundo a un ritmo constante, hasta llegar a   las bases de referencia ganadoras que cambian constantemente y asignar continuamente y de forma din\u00e1mica la mayor parte de su tr\u00e1fico a la variante que tiene m\u00e1s posibilidades de ganar en ese instante (explotaci\u00f3n).<\/p>\n\n\n\n

Puede parecer que un MAB hace uso de recursos heur\u00edsticos para asignar m\u00e1s tr\u00e1fico para as\u00ed obtener un mejor rendimiento de la variaci\u00f3n. Sin embargo, la implementaci\u00f3n de VWO de un MAB es estad\u00edsticamente s\u00f3lida. VWO utiliza un modelo matem\u00e1tico que est\u00e1 constantemente actualizando la tasa de conversi\u00f3n estimada de las variaciones y distribuye el tr\u00e1fico en proporci\u00f3n directa a esas estimaciones. <\/p>\n\n\n\n

Seg\u00fan mejora la estimaci\u00f3n de la variaci\u00f3n del buen rendimiento, la variaci\u00f3n consigue un mayor porcentaje de tr\u00e1fico. Si quieres saber m\u00e1s sobre las matem\u00e1ticas del algoritmo MAB de VWO, igual te interesa conocer el concepto denominado  Thompson Sampling<\/a> o puedes solicitar una demostraci\u00f3n<\/a> a nuestros especialistas en optimizaci\u00f3n para saber m\u00e1s sobre su funcionamiento.<\/p>\n\n\n\n

A lo largo del ciclo del test, el algoritmo mantiene el equilibrio entre las fases de exploraci\u00f3n y explotaci\u00f3n. A medida que los mejores resultados obtienen m\u00e1s conversiones, la divisi\u00f3n del tr\u00e1fico sigue ampli\u00e1ndose y llega a un punto en el que la gran mayor\u00eda de los usuarios reciben la variante con mejores resultados. De este modo, y retomando el ejemplo anterior, el MAB permite a Jim, desplegar progresivamente la mejor versi\u00f3n de su aplicaci\u00f3n m\u00f3vil, sin tener que esperar a que sus pruebas alcancen significaci\u00f3n estad\u00edstica.<\/p>\n\n\n\n

\"Ab<\/figure>\n\n\n\n

Exploraci\u00f3n versus explotaci\u00f3n en A\/B testing y selecci\u00f3n de Bandit<\/em><\/p>\n\n\n

Por qu\u00e9 el A\/B testing es mejor que el MAB<\/strong><\/strong><\/h2>\n\n\n

Cuando estudiamos las ventajas y desventajas del multi-armed bandit <\/em>frente al A\/B testing, comprendemos que ambos resuelven casos pr\u00e1cticos debido a sus distintos enfoques. Un test A\/B se realiza para recoger datos que tienen asociada una fiabilidad estad\u00edstica. Despu\u00e9s, las empresas utilizan los datos recogidos, los interpretan en contextos m\u00e1s grandes y posteriormente toman una decisi\u00f3n.<\/p>\n\n\n\n

En cambio, los algoritmos multi-armed bandit<\/em> maximizan la m\u00e9trica establecida (que en el contexto de VWO son unas conversiones concretas). No hay una fase intermedia de interpretaci\u00f3n y an\u00e1lisis, ya que el algoritmo MAB ajusta el tr\u00e1fico de forma autom\u00e1tica. Lo que quiere decir que el A\/B testing es perfecto para casos en los que:<\/p>\n\n\n\n