Teste A/A

Significado

O teste A/A é um teste estatístico que compara duas experiências idênticas entre um conjunto aleatório de usuários. Embora o tráfego seja distribuído igualmente entre as duas variações, da mesma forma como ocorre em um teste A/B, o objetivo do teste A/A é validar uma testagem estatística que não retorna nenhuma diferença nas taxas de conversão entre as duas experiências.

A lógica para que não haja diferença é que, como uma experiência idêntica é entregue a cada grupo de usuários, o indicador-chave de desempenho (KPI) esperado permanecerá o mesmo para todos os grupos. Por exemplo, se 10% dos visitantes do seu site preenchem uma pesquisa na landing page, espera-se que a taxa de conversão seja a mesma com outro grupo de visitantes que tenha uma experiência idêntica nessa landing page.

Importância dos testes A/A

Mas o que é possível descobrir com a execução de um teste A/A se as duas variações são idênticas?

Um teste A/A oferece uma estrutura para realizar a verificação de sanidade da ferramenta que, eventualmente, poderá ser usada para executar testes A/B. Diversas organizações realizam o teste A/A nas seguintes circunstâncias: 

• Para verificar se o sistema de testes A/B está configurado corretamente:
  • O resultado pretendido de um teste A/A é que a audiência reaja de forma semelhante ao mesmo conteúdo. No entanto, quando um teste A/A é executado e a plataforma retorna com uma variação vencedora, é preciso avaliar seu sistema. Existe a possibilidade de que a ferramenta tenha sido configurada incorretamente.
    É possível que um teste A/A apresente um vencedor. Se diversos testes A/A fossem executados, a definição de uma probabilidade de vencer o melhor (P2BB) de 95% significaria que, em 5% das vezes, uma variação seria declarada vencedora devido ao acaso. Mas, na maioria dos casos, não haverá vencedor.

• Para obter uma taxa de conversão como linha de base para futuros testes A/B:
  • Suponha que uma empresa planeje executar uma nova série de testes em uma landing page. Após a realização de um teste A/A, se as duas variações convergirem para uma taxa de conversão semelhante após determinado período, a empresa poderá usar essa taxa como linha de base e realizar futuros testes A/B com o objetivo de superá-la.

Espera-se que o resultado de um teste A/A seja inconclusivo. No entanto, ainda assim é possível que uma das duas variações idênticas seja declarada vencedora, mesmo que a ferramenta esteja configurada corretamente.

Por que um teste A/A pode ter uma variação vencedora?

Estes são os motivos que fazem uma variação ser declarada vencedora em um teste A/A:

• Uma questão de probabilidade: a P2BB é estimada com base em dados que podem ser variáveis. Em um curto espaço de tempo, por questão de aleatoriedade, uma variação pode apresentar um resultado forte capaz de gerar uma P2BB extrema, embora não haja diferença entre as variações. Todas as estratégias de testes A/A tendem a declarar um resultado vencedor ocasionalmente, mesmo que não exista distinção.
• Grandes volumes de dados e pequenas diferenças: na maioria dos experimentos digitais com amostras grandes, até mesmo diferenças mínimas nos KPIs podem resultar em uma P2BB extrema. O analista deve avaliar se o aumento detectado tem algum valor para o resultado final da empresa.  
• Observação constante dos dados: na nova era da experimentação digital, procuramos obter rapidamente os resultados dos experimentos para que as boas ideias possam ser lançadas logo e aumentem o engajamento. Com a intenção de concluir experimentos antes do tempo previsto, os analistas costumam observar os resultados e, assim que um vencedor é declarado, o teste é interrompido. Essa análise contínua dos resultados com o intuito de determinar a melhor variação pode levar ao encerramento prematuro do teste e invalidá-lo completamente. Com a observação constante dos dados, os testes A/A têm a garantia de declarar um resultado durante sua execução.

Somente depois de dar tempo suficiente para o teste, a suspensão é feita. Resultados decorrentes do acaso e que poderiam levar à escolha de um vencedor perdem sua relevância. A versão de controle e a variação podem ter desempenhos diferentes em momentos distintos, mas nenhuma delas será declarada vencedora indefinidamente.

Boas práticas para a execução de testes A/A

Se a sua organização planeja executar um teste A/A, esteja ciente de que ele poderá declarar um vencedor temporariamente. Isso dependerá do tempo atribuído para a execução do teste. No entanto, à medida que ele tiver mais visitantes, é provável que a diferença diminua com o decorrer do tempo.

Defina o tamanho da amostra antes de iniciar o experimento usando a calculadora de tamanho de amostra da VWO. Depois, aguarde o tempo e a quantidade adequada de visitantes antes de concluir o teste. Lembre-se de que, dependendo do nível de P2BB, há uma chance de que uma variação seja declarada vencedora. 

Para verificar a validade da plataforma do software, talvez seja necessário executar diversos testes A/A com um conjunto fixo de visitantes e observar que, dependendo do limite de P2BB configurado, uma determinada taxa de falsos positivos será obtida. Se a taxa de falsos positivos estiver dentro do limite, a plataforma estará funcionando corretamente. 

Como não é possível executar múltiplos testes A/A em um experimento real, uma boa ideia é fazer essa análise por meio de simulações, definindo um processo de geração de dados e usando uma ferramenta estatística para verificar a significância estatística.

Testes com a VWO

VWO é uma plataforma líder para testes A/B que conta com a confiança de milhares de empresas do mundo inteiro, incluindo Domino’s, HBO, eBay e Disney. A plataforma oferece tudo o que você precisa para criar e executar testes visando aumentar a receita, combater o abandono de carrinhos de compras e criar experiências digitais excelentes capazes de gerar conversões. Tudo isso dependendo o mínimo possível dos desenvolvedores. Comece hoje mesmo um teste gratuito de 30 dias com tudo incluído para explorar os recursos e as funcionalidades que a VWO oferece.