CUPED

Experimento controlado usando dados pré-experimento (CUPED) é uma técnica de redução de variância usada em testes A/B.

Desenvolvido pela equipe de ciência de dados da Microsoft no início da década de 2010, o CUPED foi criado para atender à necessidade de ter testes A/B mais eficientes em plataformas como Bing e Microsoft Office. Desde sua criação, essa técnica se popularizou nas comunidades de testes A/B e otimização devido à sua capacidade de reduzir a variância.

Como funciona o CUPED?

Vamos entender como o CUPED funciona por meio de um exemplo. Imagine que você tenha uma loja on-line e queira testar um novo processo de checkout. Para fazer isso, decide configurar um teste A/B em que metade dos visitantes visualiza o novo processo de checkout (grupo B) e a outra metade acessa a versão atual (grupo A). O objetivo é determinar se o novo processo resulta em mais compras finalizadas.

Antes de iniciar o teste, você já possui dados abrangentes sobre o comportamento dos visitantes. Por exemplo, o número de compras que cada um deles fez no mês anterior à realização do teste. É nesse cenário que o CUPED entra em ação. Para cada visitante do grupo A e do grupo B, a técnica reúne dados sobre o comportamento de compra do mês anterior. À medida que o teste é executado, ela contabiliza as compras que cada grupo faz durante o período. No entanto, em vez de comparar somente os números brutos, o CUPED ajusta esses valores com base em um aumento ou diminuição nas compras em comparação com o último mês dentro do grupo de controle e do grupo de variação.

Sem o CUPED, se o grupo A (versão atual) tiver uma média de 10 compras e o grupo B (nova versão) tiver uma média de 12 compras após o teste, você poderá concluir que o novo processo de checkout é ligeiramente melhor. Mas com o CUPED, você ajusta esses números usando dados pré-experimento. Talvez os visitantes do grupo A tenham feito uma média de quatro compras e os visitantes do grupo B tenham feito uma média de duas compras antes do teste. Após o ajuste, você pode descobrir que a melhoria no grupo B foi ainda mais significativa.

Portanto, o CUPED torna seus testes A/B mais precisos e confiáveis ao levar em consideração o que você já sabe sobre seus visitantes. 

Benefícios do CUPED

Estes são os benefícios de usar o CUPED para tornar seus testes A/B mais precisos e confiáveis:

• A técnica aproveita os dados pré-experimento para controlar as variâncias naturais no comportamento dos visitantes. Isso significa que, se houver uma diferença genuína entre seus grupos de teste, o CUPED facilitará sua identificação. Por exemplo, se o seu novo processo de checkout for de fato melhor, o CUPED facilitará a percepção da melhoria produzida.
• Para alcançar a significância estatística, é necessário ter um grande número de visitantes. Entretanto, com o CUPED, você pode chegar a conclusões significativas com menos visitantes nas suas páginas, porque ele reduz o “ruído” das variâncias naturais. Isso torna seus testes mais eficientes e requer menos recursos.

Limitações do uso do CUPED

Embora o CUPED ofereça benefícios relevantes, é importante entender suas limitações. Estes são dois pontos importantes que você deve ter em mente:

• O CUPED se baseia em dados pré-experimento para reduzir a variância e aumentar a precisão dos resultados dos seus testes. Isso significa que ele só pode ser usado para analisar visitantes que já acessaram o seu site antes. Se houver muitos visitantes novos, o CUPED não será eficaz, devido à falta de dados anteriores.
• A técnica não é eficaz para métricas binárias, como taxas de conversão, porque se baseia em dados contínuos (como o número de compras) para ajustar as diferenças pré-experimento. Isso torna o CUPED menos adequado para situações em que você precisa mensurar resultados simples de “sim” ou “não”.

Conclusão

O CUPED é uma técnica poderosa que utiliza dados pré-experimento para aumentar a precisão e a eficiência dos testes A/B. Ele ajuda a controlar a variância e permite que você tire conclusões relevantes com um número menor de visitantes. No entanto, lembre-se de que o CUPED só é eficaz para analisar usuários que já visitaram o seu site antes e não é adequado para mensurar métricas binárias.