{"id":90531,"date":"2020-03-24T18:16:37","date_gmt":"2020-03-24T12:46:37","guid":{"rendered":"https:\/\/vwo.com\/blog\/multi-armed-bandit-algorithm\/"},"modified":"2026-02-27T18:09:31","modified_gmt":"2026-02-27T12:39:31","slug":"multi-armed-bandit-algoritmo","status":"publish","type":"post","link":"https:\/\/vwo.com\/blog\/br\/multi-armed-bandit-algoritmo\/","title":{"rendered":"Multi-Armed Bandit (MAB): Teste A\/B sem arrependimentos"},"content":{"rendered":"\n

A maioria dos leitores deste blog j\u00e1 est\u00e1 familiarizada com os testes A\/B<\/a>. Mas aqui vai um lembrete r\u00e1pido: teste A\/B \u00e9 um experimento em que uma vers\u00e3o diferente da original (ou \u201ccontrole\u201d) \u00e9 exibida a um visitante aleat\u00f3rio em uma propriedade digital na tentativa de encontrar uma varia\u00e7\u00e3o otimizada capaz de maximizar as convers\u00f5es.<\/p>\n\n\n\n

Por exemplo, ser\u00e1 que um bot\u00e3o vermelho receberia mais cliques dos usu\u00e1rios do que um azul? Quem sabe? Bem, com um teste A\/B voc\u00ea saberia. Testes A\/B realizados sistematicamente utilizando ferramentas eficazes<\/a> podem melhorar bastante as taxas de convers\u00e3o. Um exemplo disso \u00e9 o Tinkoff Bank, um banco em Moscou que registrou um aumento de 36% <\/a>nas convers\u00f5es.<\/p>\n\n\n\n

No entanto, a busca pela maximiza\u00e7\u00e3o dos n\u00fameros vem acompanhada de um custo: enquanto os testes A\/B s\u00e3o executados, uma parcela consider\u00e1vel do tr\u00e1fego do site \u00e9 direcionada \u00e0 variante de pior desempenho, reduzindo algumas m\u00e9tricas importantes de neg\u00f3cios (como vendas ou convers\u00f5es).<\/p>\n\n\n\n

Dizem que, em um teste A\/B, o custo para aumentar as convers\u00f5es s\u00e3o as pr\u00f3prias convers\u00f5es. Touch\u00e9<\/em>.<\/p>\n\n\n\n

Vamos considerar o exemplo de Jim, um analista de UX que trabalha em uma fabricante de dispositivos m\u00f3veis que far\u00e1 um grande lan\u00e7amento na semana que vem. Para estimular a demanda e promover as vendas, Jim decide rodar uma promo\u00e7\u00e3o rel\u00e2mpago no aplicativo da empresa durante tr\u00eas dias.<\/p>\n\n\n\n

Mas h\u00e1 um detalhe: ele sabe que o aplicativo tem uma navega\u00e7\u00e3o ruim. Jim realizou uma pesquisa com os usu\u00e1rios ativos e chegou \u00e0 conclus\u00e3o de que os visitantes t\u00eam dificuldade para encontrar o produto.<\/p>\n\n\n\n

Para melhorar a navega\u00e7\u00e3o, Jim decide fazer um experimento e cria uma varia\u00e7\u00e3o do aplicativo com uma navega\u00e7\u00e3o mais intuitiva, que leva os usu\u00e1rios diretamente ao funil de vendas da promo\u00e7\u00e3o rel\u00e2mpago. O objetivo \u00e9 testar se a nova vers\u00e3o acabar\u00e1 com a dificuldade dos usu\u00e1rios de encontrar o aparelho que ser\u00e1 lan\u00e7ado. Resumidamente, Jim est\u00e1 tentando melhorar um KPI crucial: a porcentagem de sess\u00f5es em que os usu\u00e1rios conseguiram encontrar o novo dispositivo<\/em>.<\/p>\n\n\n\n

Ele analisa os dados obtidos no experimento e percebe que os ajustes feitos na navega\u00e7\u00e3o do aplicativo apresentaram melhorias significativas. Jim fica empolgado e decide compartilhar os primeiros resultados com a equipe de lideran\u00e7a s\u00eanior, na expectativa de que eles tamb\u00e9m fiquem entusiasmados. Prestes a entrar no escrit\u00f3rio da CMO, levando consigo uma c\u00f3pia dos resultados iniciais para convencer a executiva de que vale a pena direcionar mais tr\u00e1fego \u00e0 nova varia\u00e7\u00e3o, Jim \u00e9 parado por um cientista de dados.<\/p>\n\n\n\n

\u201cJim, esses resultados s\u00e3o \u00f3timos. Mas eles s\u00e3o estatisticamente robustos? Onde est\u00e1 a signific\u00e2ncia?\u201d.<\/p>\n\n\n\n

\u201cN\u00f3s n\u00e3o podemos esperar todo esse tempo! A promo\u00e7\u00e3o termina em tr\u00eas dias!\u201d, Jim responde.<\/p>\n\n\n\n

Quem est\u00e1 certo? Jim, que tem a miss\u00e3o de fazer o melhor poss\u00edvel em apenas tr\u00eas dias, ou o cientista de dados, que questionou a signific\u00e2ncia estat\u00edstica<\/a> do experimento? Ambos est\u00e3o certos. Vamos explicar o porqu\u00ea.<\/p>\n\n\n\n

Lembra quando dissemos que o custo para aumentar as convers\u00f5es s\u00e3o as pr\u00f3prias convers\u00f5es? A situa\u00e7\u00e3o em que Jim se encontra justifica uma abordagem que visa minimizar o custo de execu\u00e7\u00e3o de um teste A\/B. A perda de convers\u00f5es causada pela varia\u00e7\u00e3o com desempenho ruim \u00e9 chamada de arrependimento bayesiano<\/a>.<\/p>\n\n\n\n

Minimizar o arrependimento \u00e9 especialmente importante em situa\u00e7\u00f5es urgentes ou nas quais o custo das varia\u00e7\u00f5es ruins \u00e9 t\u00e3o alto que as empresas hesitam em executar testes A\/B.<\/p>\n\n\n\n

Como Jim tem apenas tr\u00eas dias para maximizar as vendas, ele n\u00e3o pode perder convers\u00f5es at\u00e9 que a signific\u00e2ncia estat\u00edstica seja descoberta, o que pode levar semanas (ou at\u00e9 meses, se o site tiver pouco tr\u00e1fego). Se esperar pela signific\u00e2ncia estat\u00edstica, Jim n\u00e3o conseguir\u00e1 usar os resultados, j\u00e1 que o per\u00edodo de tr\u00eas dias ter\u00e1 terminado.<\/p>\n\n\n\n

Mas se ele tivesse algoritmos Multi-Armed Bandit<\/a> \u00e0 sua disposi\u00e7\u00e3o, esse tipo de problema n\u00e3o teria acontecido. Vamos entender como o processo seria.<\/p>\n\n\n\n

\"slot<\/figure>\n\n\n

O que \u00e9 um teste Multi-Armed Bandit (MAB)?<\/strong><\/h2>\n\n\n

MAB \u00e9 um tipo de teste A\/B que usa aprendizado de m\u00e1quina para se aprimorar com os dados coletados na realiza\u00e7\u00e3o do teste e aumentar dinamicamente a aloca\u00e7\u00e3o de visitantes nas varia\u00e7\u00f5es de melhor desempenho. Isso significa que, com o decorrer do tempo, as varia\u00e7\u00f5es que n\u00e3o s\u00e3o boas recebem cada vez menos tr\u00e1fego.<\/p>\n\n\n\n

O principal conceito por tr\u00e1s do MAB \u00e9 a \u201caloca\u00e7\u00e3o din\u00e2mica de tr\u00e1fego\u201d, um m\u00e9todo estatisticamente robusto que identifica continuamente em que grau uma vers\u00e3o supera as outras e direciona a maior parte do tr\u00e1fego de forma din\u00e2mica e em tempo real a ela.<\/p>\n\n\n\n

Ao contr\u00e1rio dos testes A\/B, o MAB maximiza o n\u00famero total de convers\u00f5es no decorrer do teste. Em contrapartida, a certeza estat\u00edstica fica em segundo plano, j\u00e1 que o foco \u00e9 voltado \u00e0s convers\u00f5es e \u00e0 descoberta das taxas de convers\u00e3o exatas (de todas as varia\u00e7\u00f5es, incluindo aquelas com pior desempenho).<\/p>\n\n\n

Qual \u00e9 o problema da metodologia Multi-Armed Bandit?<\/strong><\/h2>\n\n\n

O conceito de MAB foi inspirado em um experimento mental em que um jogador escolhe entre diversas m\u00e1quinas ca\u00e7a-n\u00edqueis com taxas de pagamento diferentes. Sua tarefa \u00e9 ganhar o m\u00e1ximo de dinheiro poss\u00edvel com elas. Coloque-se no lugar desse jogador. Como voc\u00ea maximizaria seus ganhos?<\/p>\n\n\n\n

Como v\u00e1rias m\u00e1quinas ca\u00e7a-n\u00edqueis est\u00e3o \u00e0 disposi\u00e7\u00e3o, voc\u00ea pode jogar em todas elas para determinar as possibilidades de pagamento, coletando dados suficientes at\u00e9 descobrir qual m\u00e1quina \u00e9 a melhor.<\/p>\n\n\n\n

Essa abordagem revelar\u00e1 a taxa de pagamento exata de todas as m\u00e1quinas. No entanto, durante o processo, voc\u00ea perder\u00e1 muito dinheiro com aquelas que pagam pouco. \u00c9 isso o que pode acontecer em um teste A\/B. Uma alternativa seria manter o foco em poucas m\u00e1quinas por um breve per\u00edodo, avaliando continuamente os ganhos para maximizar seus investimentos nos ca\u00e7a-n\u00edqueis com retornos maiores. \u00c9 isso o que acontece na abordagem Multi-Armed Bandit.<\/p>\n\n\n\n

\"an<\/figure>\n\n\n\n

Multi-Armed Bandit em funcionamento<\/em><\/p>\n\n\n\n

Fonte da imagem: towards data science<\/p>\n\n\n

Explora\u00e7\u00e3o e aproveitamento<\/strong><\/h2>\n\n\n

Os dois pilares que sustentam o MAB nos ajudam a entender esse algoritmo: explora\u00e7\u00e3o e aproveitamento. Por padr\u00e3o, a maioria dos testes A\/B cl\u00e1ssicos funcionam no modo explora\u00e7\u00e3o. Afinal, determinar resultados estatisticamente significativos \u00e9 a raz\u00e3o de sua exist\u00eancia, o que gera uma explora\u00e7\u00e3o perp\u00e9tua.<\/p>\n\n\n\n

Em um teste A\/B, o foco est\u00e1 na descoberta da taxa de convers\u00e3o exata das varia\u00e7\u00f5es. J\u00e1 o MAB adiciona um elemento ao experimento: o aproveitamento. Devido ao prop\u00f3sito do teste MAB de maximizar as convers\u00f5es e lucros, o aproveitamento e a explora\u00e7\u00e3o ocorrem paralelamente, como se formassem os trilhos de um trem. Imagine o algoritmo explorando os dados de v\u00e1rios visitantes por segundo, descobrindo linhas de base vencedoras que mudam constantemente e alocando a maior parte do tr\u00e1fego dinamicamente \u00e0 varia\u00e7\u00e3o com a chance mais alta de ser a vencedora naquele instante (aproveitamento).<\/p>\n\n\n\n

Pode at\u00e9 parecer que o MAB usa pr\u00e1ticas heur\u00edsticas para alocar mais tr\u00e1fego \u00e0 varia\u00e7\u00e3o com melhor desempenho. No entanto, nos bastidores, a implementa\u00e7\u00e3o do MAB pela VWO \u00e9 estatisticamente robusta. A VWO usa um modelo matem\u00e1tico para atualizar continuamente as taxas de convers\u00e3o estimadas das varia\u00e7\u00f5es e alocar o tr\u00e1fego em uma propor\u00e7\u00e3o diretamente associada a cada uma delas.<\/p>\n\n\n\n

\u00c0 medida que a estimativa da vers\u00e3o com melhor desempenho \u00e9 aprimorada, essa varia\u00e7\u00e3o recebe uma porcentagem maior do tr\u00e1fego. Se estiver interessado em aprender a matem\u00e1tica por tr\u00e1s do algoritmo MAB da VWO, leia artigos sobre um conceito chamado Thompson Sampling<\/a> ou solicite uma demonstra\u00e7\u00e3o<\/a> junto aos nossos especialistas em otimiza\u00e7\u00e3o.<\/p>\n\n\n\n

Ao longo do ciclo do teste, o algoritmo se equilibra entre as fases de explora\u00e7\u00e3o e aproveitamento. \u00c0 medida que as varia\u00e7\u00f5es com melhor desempenho geram mais convers\u00f5es, a divis\u00e3o do tr\u00e1fego continua aumentando at\u00e9 atingir um ponto em que a maioria dos usu\u00e1rios \u00e9 direcionada \u00e0 vers\u00e3o que produziu os resultados superiores. Dessa forma, o MAB permite que o Jim, do exemplo anterior, implemente progressivamente a melhor vers\u00e3o do aplicativo m\u00f3vel sem ter que esperar que seus testes atinjam a signific\u00e2ncia estat\u00edstica.<\/p>\n\n\n\n

\"Ab<\/figure>\n\n\n\n

Explora\u00e7\u00e3o versus aproveitamento em testes A\/B e Multi-Armed Bandit<\/p>\n\n\n

Por que o teste A\/B \u00e9 melhor que o MAB<\/strong><\/h2>\n\n\n

Ao considerar os pr\u00f3s e contras do algoritmo Multi-Armed Bandit e do teste A\/B, \u00e9 preciso entender que ambos atendem a casos de uso distintos devido aos seus focos diferentes. Um teste A\/B \u00e9 realizado para coletar dados com confian\u00e7a estat\u00edstica. A empresa analisa esses dados, interpreta-os em um contexto mais amplo e toma uma decis\u00e3o.<\/p>\n\n\n\n

J\u00e1 o algoritmo Multi-Armed Bandit maximiza uma determinada m\u00e9trica (no caso da VWO, convers\u00f5es de um tipo espec\u00edfico). N\u00e3o existe um est\u00e1gio intermedi\u00e1rio de interpreta\u00e7\u00e3o e an\u00e1lise, pois o algoritmo MAB ajusta o direcionamento do tr\u00e1fego automaticamente. Isso significa que o teste A\/B \u00e9 perfeito para casos em que:<\/p>\n\n\n\n