DE
BR
Un falso positivo ocurre cuando una prueba o experimento indica erróneamente que una variante es ganadora o perdedora, cuando en realidad no hay ningún impacto en la métrica objetivo. Es como obtener una respuesta equivocada en una prueba, creyendo que es correcta cuando no lo es. En contextos de pruebas o experimentos, una tasa de falsos positivos alta puede conducir a conclusiones y decisiones erróneas.
Nota: Los falsos positivos aparecen como errores de Tipo I en las pruebas A/B.
¿Qué es la tasa de falsos positivos?
La tasa de falsos positivos (FPR, por sus siglas en inglés) es una métrica fundamental que indica con qué frecuencia se identifica erróneamente un fenómeno como estadísticamente significativo cuando no lo es. Esta medida es vital porque refleja la fiabilidad de una prueba o resultado. Una tasa de falsos positivos baja indica mayor precisión y confiabilidad.
Donde:
- FP representa el número de falsos positivos.
- TN representa el número de verdaderos negativos, es decir, los casos correctamente identificados como no ganadores entre todas las pruebas que no mostraban mejora.
Ejemplo de tasa de falsos positivos
Imaginemos una prueba diagnóstica desarrollada para detectar un trastorno genético poco común. Para evaluar su precisión, se aplica la prueba a 1000 personas aparentemente sanas de diferentes grupos demográficos y zonas geográficas. Tras el análisis, se descubre que la prueba identifica erróneamente a 20 personas como si tuvieran el trastorno, aunque están sanas. Esto da lugar a una tasa de falsos positivos del 2 %. Este tipo de evaluación simulada ofrece información clave sobre la eficacia de las pruebas médicas y ayuda a los profesionales de la salud a juzgar su fiabilidad en el mundo real.
¿Por qué es importante evaluar la tasa de falsos positivos?
La precisión de un modelo estadístico depende en gran medida de su tasa de falsos positivos, por lo que resulta esencial mantener un equilibrio cuidadoso.
Diagnóstico médico: Una tasa alta de falsos positivos puede llevar a clasificar erróneamente a personas sanas como enfermas.
Finanzas: Los falsos positivos aparecen en los sistemas de detección de fraude y en los modelos de puntuación crediticia. Una tasa elevada puede hacer que transacciones legítimas sean marcadas como fraudulentas.
Ciberseguridad: Las herramientas de seguridad están expuestas a falsos positivos, lo que puede saturar a los analistas con alertas innecesarias y provocar fatiga. El exceso de falsas alertas puede llevar a ignorar amenazas reales.
Control de calidad: Los falsos positivos pueden hacer que se rechacen productos en buen estado, lo que incrementa los costes de fabricación y reduce la eficiencia.
Las consecuencias de los falsos positivos varían en cada uno de estos ámbitos, dependiendo del contexto y del impacto que puedan tener los resultados incorrectos. En general, una tasa elevada de falsos positivos puede desperdiciar recursos, reducir la eficiencia, minar la confianza en los sistemas o modelos, y generar consecuencias negativas tanto para las personas como para las organizaciones.
Tasa de falsos positivos en A/B testing
La tasa de falsos positivos representa un riesgo significativo en los escenarios de A/B testing, donde las empresas comparan diferentes versiones de una página web o una app para determinar cuál funciona mejor. Cuando esta tasa es elevada, el test A/B tarda más en concluir y alcanzar significancia estadística.
Para aumentar la fiabilidad y eficacia del software de A/B testing y reducir los falsos positivos, es recomendable disminuir el umbral de la tasa de falsos positivos. En A/B testing, este umbral suele fijarse en un 5 %, pero reducirlo al 1 % puede mejorar la precisión de las pruebas y disminuir los errores tipo I. Plataformas como VWO utilizan la métrica Probability to Beat the Baseline (PTBB) para controlar la tasa de falsos positivos. Si el PTBB es del 99 %, entonces la FPR es del 1 %.
Conclusión
En resumen, la tasa de falsos positivos es una métrica fundamental que repercute en múltiples áreas como el diagnóstico médico, las finanzas, la ciberseguridad y los procesos de control de calidad. Una tasa elevada puede llevar a decisiones erróneas, desperdicio de recursos y pérdida de confianza en los sistemas o modelos.
Plataformas como VWO emplean el PTBB para mitigar el impacto de los falsos positivos. Si desea saber más al respecto, puede acceder a una prueba gratuita de 30 días de la plataforma VWO y descubrir todas sus capacidades.
