A/A Testing

Definición

El A/A Testing es una prueba estadística realizada para comparar dos experiencias idénticas en un conjunto aleatorio de usuarios. Al igual que en un test A/B, el tráfico se distribuye por igual entre ambas variaciones, pero el objetivo del A/A Testing es validar que el test estadístico no arroja diferencias en las tasas de conversión entre las dos experiencias.

La razón principal de que no haya diferencias es que, como se proporciona una experiencia idéntica a cada grupo de usuarios, el KPI (indicador clave de rendimiento) esperado seguirá siendo el mismo para cada grupo. Por ejemplo, si el 10% de los visitantes de tu página web rellenan una encuesta en la página de destino, podemos esperar que la tasa de conversión siga siendo la misma para otro grupo de visitantes que están obteniendo una experiencia idéntica de la página de destino.

Importancia del A/A Testing

Pero, ¿qué se consigue ejecutando un test A/A cuando ambas variaciones son idénticas? 

Un test A/A proporciona una comprobación de validez de la herramienta que finalmente se utilizará para ejecutar tests A/B. Varias organizaciones realizan tests A/A en las siguientes circunstancias

• Para comprobar si el software de tests A/B está configurado correctamente.
  • El resultado esperado de un test A/A es que la audiencia reaccione de forma similar al mismo contenido. Sin embargo, cuando se ejecuta un test A/A y la plataforma devuelve un ganador, entonces hay que evaluar el software. Puede que la herramienta esté mal configurada.
  • Es posible obtener un ganador de un test A/A. Si se realizaran varios tests A/A, establecer una Probabilidad de Ganar al Mejor (P2BB) del 95% significaría que el 5% de las veces una variación podría ser declarada ganadora al azar. Pero en la mayoría de los casos, no habrá ganador.

• Obtener una tasa de conversión de referencia para futuros tests A/B
  • Supongamos que una empresa quiere realizar una nueva serie de tests en una página de aterrizaje. Después de ejecutar un test A/A, si ambas variaciones convergen a una tasa de conversión similar después de un tiempo, podrán utilizar esa tasa de conversión como línea de base y podrán ejecutar futuros tests A/B para superar esta tasa.  

En un test A/A, se espera que el resultado no sea concluyente. Sin embargo, sigue siendo posible en el A/A Testing declarar un ganador entre dos variaciones idénticas incluso si la herramienta está configurada correctamente.

¿Por qué el A/A Testing declara un ganador?

 Las siguientes son las razones por las que se obtiene un ganador en un test A/A –

• Se trata de probabilidad – P2BB se estima basándose en datos que pueden ser variables. En una ventana de tiempo corta, sólo por casualidad, una variación puede obtener una fuerte ventaja resultando en un P2BB extremo aunque no haya diferencia. Todas las estrategias de tests A/B tienden a declarar un resultado en ocasiones incluso cuando no existe ninguna diferencia.
• Grandes volúmenes de datos y pequeñas diferencias – En la mayoría de los experimentos digitales con grandes tamaños de muestra, incluso diferencias mínimas en los KPI pueden conducir a un P2BB extremo. El analista tiene que juzgar si la mejora detectada tiene algún valor para el balance final de la empresa.
• Observación constante de los datos: en la nueva era de la experimentación digital, tratamos de obtener resultados más rápidos de los experimentos para que las buenas ideas puedan ponerse en marcha cuanto antes y contribuyan a aumentar el engagement. Con la intención de poner fin al experimento antes de tiempo, los analistas no dejan de echar un vistazo a los resultados y, en cuanto se declara el ganador, se detiene el experimento. Esta continua observación de los resultados con la intención de determinar la mejor variación puede llevar a finalizar el test prematuramente e invalidarlo por completo. Con el peeking constante de datos, los tests A/A pueden declarar un resultado durante el test.

Sólo después de dar tiempo suficiente al test, la probabilidad de encontrar un ganador al azar decae. El control y la variación podrían tener un rendimiento diferente en distintos momentos, pero ninguno de ellos será declarado ganador indefinidamente.

Mejores prácticas para realizar un test A/A

Si tu empresa tiene previsto realizar un test A/A, ten siempre en cuenta que el test puede declarar un ganador de forma temporal. Esto depende del tiempo que le hayas dado al test para ejecutarse. Pero a medida que el test tenga más visitas, es probable que la diferencia disminuya con el tiempo.

Decide el tamaño de la muestra antes del experimento utilizando la calculadora de tamaño de muestra de VWO. A continuación, dedica el tiempo y los visitantes adecuados al test antes de concluirlo. Ten en cuenta que, dependiendo del nivel de P2BB, existe la posibilidad de que una variación pueda incluso declararse ganadora.

Para comprobar la validez de una plataforma de software, puede ser necesario realizar varios tests A/A para un conjunto fijo de visitantes y observar que, en función del umbral P2BB configurado, se obtendrá una determinada tasa de falsos positivos. Si la tasa de falsos positivos obtenida está dentro del umbral, la plataforma funciona correctamente. 

Como no es posible ejecutar múltiples tests A/A de un experimento real, es una buena idea hacer este análisis mediante simulaciones definiendo un proceso de generación de datos y utilizando la herramienta estadística para comprobar la significancia estadística.

Testing con VWO

VWO es una plataforma líder de tests A/B en la que confían miles de marcas de todo el mundo, como Domino’s, HBO, eBay y Disney. Ofrece todo lo que necesitas para crear y ejecutar tests para aumentar los ingresos, combatir el abandono de carritos y construir experiencias digitales estelares que conviertan, con una dependencia mínima de tus desarrolladores. Empieza hoy mismo una prueba gratuita de 30 días con todo incluido para explorar las funciones y capacidades de VWO.