CUPED

El Controlled experiment using pre-experiment data (CUPED) es una técnica de reducción de la varianza utilizada en A/B testing.

Desarrollada por el equipo de ciencia de datos de Microsoft a principios de la década de 2010, CUPED nació para dar respuesta a la necesidad de realizar tests A/B más eficientes en plataformas como Bing y Microsoft Office. Desde su creación, esta técnica se ha convertido en un estándar en las comunidades de A/B testing y optimización debido a su capacidad para reducir la varianza en los experimentos.

¿Cómo funciona CUPED?

Veamos cómo funciona CUPED a través de un ejemplo. Supón que gestionas una tienda online y deseas probar un nuevo proceso de checkout. Configuras un A/B test en el que la mitad de los visitantes ve el nuevo checkout (Grupo B) y la otra mitad ve el actual (Grupo A). El objetivo es determinar si el nuevo proceso de checkout genera más compras finalizadas.

Antes de comenzar el test, ya dispones de datos sobre el comportamiento de los visitantes, por ejemplo: cuántas compras realizó cada usuario el mes anterior al test. Aquí es donde CUPED entra en juego. Para cada visitante de los Grupos A y B, CUPED recopila datos de su comportamiento de compra del mes anterior. Durante el test, se registran las compras realizadas por cada grupo. En lugar de comparar únicamente los números brutos, CUPED ajusta las cifras considerando el incremento o decremento respecto a los datos previos en el grupo de control y en el grupo de variación.

Por ejemplo, sin CUPED podrías observar que el Grupo A obtiene un promedio de 10 compras y el Grupo B un promedio de 12 compras, y concluir que el nuevo checkout es ligeramente mejor. Pero con CUPED, esos números se ajustan según los datos previos. Quizá el Grupo A tenía un promedio previo de 4 compras y el Grupo B de 2. Al ajustar con estos datos, CUPED podría mostrar que la mejora en el Grupo B es aún más significativa.

Así, CUPED permite que tus tests A/B sean más precisos y fiables, teniendo en cuenta la información que ya conoces sobre tus visitantes.

Beneficios de CUPED

Estos son los principales beneficios de utilizar CUPED para que tus tests A/B sean más precisos y fiables:

• CUPED aprovecha los datos previos al experimento para controlar las variaciones naturales en el comportamiento de los visitantes. Esto significa que, si existe una diferencia real entre los grupos del test, CUPED facilita su detección. Por ejemplo, si tu nuevo proceso de checkout es realmente mejor, CUPED te ayudará a ver esa mejora con mayor claridad.
• Alcanzar la significación estadística suele requerir un gran número de visitantes. Sin embargo, con CUPED puedes llegar a conclusiones relevantes con menos tráfico, ya que reduce el “ruido” de las variaciones naturales. Esto hace que tus tests sean más eficientes y requieran menos recursos.

Limitaciones de CUPED

Aunque CUPED ofrece ventajas importantes, es fundamental entender sus limitaciones. Aquí dos aspectos clave a tener en cuenta:

• CUPED se basa en los datos previos al experimento para reducir la varianza y mejorar la precisión de los resultados. Esto significa que solo puede utilizarse con visitantes que ya hayan estado en tu página web. Si tienes un alto porcentaje de visitantes nuevos, CUPED no será efectivo, porque no existe un histórico previo que aprovechar.
• CUPED no es eficaz para métricas binarias, como las tasas de conversión, porque depende de datos continuos (por ejemplo, el número de compras) para ajustar las diferencias previas. Por ello, no es adecuado para escenarios en los que se miden resultados tipo sí/no.

Conclusión

En resumen, CUPED es una técnica potente que utiliza datos previos al experimento para mejorar la precisión y eficiencia de los tests A/B. Ayuda a controlar la varianza y permite obtener conclusiones significativas con un menor número de participantes. No obstante, ten en cuenta que CUPED solo es efectivo con usuarios recurrentes y no resulta adecuado para métricas binarias.