Tests A/B del texto de tu web con GPT-3.5 Turbo: Un avance en la experimentación con IA

Desde ayudar inicialmente a los humanos con tareas redundantes y manuales, hasta dominar ahora trabajos creativos como hacer arte original o componer música, la IA ha evolucionado y se ha transformado de formas sin precedentes. Uno de esos trabajos creativos para los que los robots son sorprendentemente buenos es escribir textos. Sí, GPT-3.5 Turbo (Generative Pre-trained Transformer 3) es una IA alimentada por una red neuronal que puede producir un texto casi impecable y relevante para el contexto dado. Construido por OpenAI, un laboratorio de investigación con sede en San Francisco, GPT-3.5 Turbo es un potente generador de lenguaje de tercera generación que utiliza el aprendizaje automático para predecir y producir texto, casi como un humano. 

Descargar gratis: Guía de tests A/B

Si te extiendes en GPT-3.5 Turbo, esto es lo que denota: 

Generativo: Indica que el objetivo del modelo es generar texto prediciendo una palabra cada vez en una frase dada. 

Preentrenado: Indica que se ha introducido una gran cantidad de datos en el sistema para entrenarlo.

Transformador: Indica el algoritmo utilizado por el modelo de IA, que se especializa en el procesamiento del lenguaje natural, es decir, cómo se utilizan las palabras en un idioma y qué significan. 

Una vez que GPT-3.5 Turbo recibe una instrucción, genera secuencias de texto prediciendo la posibilidad de que exista una frase en este mundo. Actualmente, la funcionalidad está en fase beta y sólo se ofrece a un grupo selecto (incluido VWO) a través de una API accesible a través de la nube. 

Reconozcámoslo: redactar textos publicitarios no es tarea fácil. El modelo de lenguaje robusto y flexible de GPT-3.5 Turbo puede producir una copia corta a escala. Si a eso le añades la capacidad de probar versiones de la copia, puedes obtener lo mejor de ambos mundos. Además, algunas de las pruebas que se realizan con más frecuencia giran en torno a la copia de páginas web. Por eso, integrar la GPT-3.5 Turbo API de Open AI con VWO Testing era lo más natural y lógico que podíamos hacer.

Nuestra nueva función te permite utilizar la copia generada por IA para crear variaciones para la copia de tu sitio web y desplegarlas sin ayuda de TI. También puedes probar la copia generada por la IA comparándola con la copia original escrita por humanos en tu sitio web. En la siguiente sección veremos cómo algunas marcas populares descubrieron las implicaciones prácticas de nuestra nueva función mediante un concurso amistoso entre textos escritos por humanos y textos generados por IA.

Concurso de VWO: Humanos vs. IA

En agosto de este año, VWO organizó una competición amistosa entre textos escritos por redactores humanos y los escritos por nuestra nueva función basada en la GPT-3.5 Turbo API de OpenAI. Invitamos a participantes de todo el mundo y probamos el texto generado por la IA frente al escrito por humanos en sus páginas web con suficiente tráfico a través de VWO o de cualquier otra plataforma de pruebas que estuvieran utilizando. 

Más de 450 marcas tuvieron acceso a la función de generación de textos mediante IA en el transcurso de este concurso. Entre los 18 participantes preseleccionados estaban Booking.com, Clark Germany GmbH y Schneiders, por nombrar algunos. La función de IA fue capaz de generar copias en varios idiomas, como español, alemán, portugués, etc. Los participantes quedaron muy satisfechos con la precisión del resultado en estos idiomas.

Todos los participantes tuvieron que configurar sus pruebas manteniendo la copia original del sitio web como control y la(s) generada(s) por la IA como variación. 

Resultados del concurso

Entre las 18 pruebas realizadas por los participantes confirmados, 1 tuvo como ganadora a una copia escrita humana existente (o nueva), 3 tuvieron como ganadora a una copia de IA, 3 fueron declaradas como empate, 2 aún están a la espera de los resultados y 9 no fueron concluyentes. 

Veamos algunas de las pruebas en las que ganó la copia generada por la IA:

Schneiders [Una tienda de comercio electrónico de ropa y equipamiento para caballos]

El equipo probó la copia de su banner superior creando una variación de la página original utilizando el generador de lenguaje respaldado por IA. Aquí puedes ver el control y la variación de la prueba:

Una vez obtenidos resultados estadísticamente significativos, el test A/B declaró ganadora a la variación, ya que produjo un aumento del 7,06% en los clics de sus banners.

Clark Germany GmbH [Agencia de seguros con sede en Fráncfort].

Se crearon 3 variaciones del titular de la página utilizando la copia de la IA y se compararon con el control. La prueba se realizó durante 48 días. A continuación se muestran el control y las variaciones de la prueba: 

Una vez concluida la prueba (significación estadística > 90%), las 3 variaciones superaron al control. La variación 2 produjo el máximo aumento de clics en la CTA (15,77%), mientras que las variaciones 1 y 3 produjeron un aumento del 9,13% y el 7,13%, respectivamente.

He aquí la prueba que declaró vencedora a la copia humana:

Booking.com [Una empresa global de viajes]

El equipo de Booking.com probó la CTA en sus páginas de reserva de hoteles. Se enfrentaron 2 copias escritas por humanos y una generada por IA. Estas son las variaciones que crearon:

La copia humana nº 1 ganó la prueba, ya que produjo un aumento del 1,7% en la tasa de conversión del CTA.

Aquí tienes una prueba que dio como resultado un empate entre humanos e IA:

Springworks [Una empresa de SaaS con sede en la India].

El equipo de Springworks probó el titular de su landing page creando una variación con el texto generado por la IA y comparándolo con el original (control). Su objetivo era mejorar los clics en la CTA «Añadir trivialidades». La prueba duró 8 días. Aquí puedes ver el control y la variación:

Dado que la diferencia en el aumento de clics CTA entre el control y la variación fue inferior al 5%, y los resultados de la prueba fueron estadísticamente insignificantes, la prueba se declaró empatada. 

Descargar gratis: Guía de tests A/B

Vamos a profundizar en el funcionamiento conjunto de VWO Testing y GPT-3.5 Turbo.

VWO Testing y GPT-3.5 Turbo

Hemos integrado la GPT-3.5 Turbo API de Open AI con nuestro Editor Visual para que, cada vez que decidas realizar una prueba o implantar un cambio, puedas generar recomendaciones de copias a partir de las cuales puedes crear variaciones. Esto significa que puedes reducir el tiempo dedicado a la lluvia de ideas sobre variaciones y alternativas, al tener a tu disposición una biblioteca de ideas generadas por la IA. 

Tanto si quieres optimizar titulares, textos CTA, descripciones de productos o cualquier otro texto de tu sitio, puedes generar alternativas rápidamente y desplegarlas directamente o probarlas frente a tu copia original, en ambos casos sin ayuda de ningún desarrollador. En cualquier caso, al automatizar este aspecto de la experimentación, consigues que tu programa de CRO sea más eficaz y ágil. 

Cuando abras el Editor Visual de VWO y hagas clic en cualquier texto, encontrarás la opción «Sugerir variaciones» en el menú desplegable. Al hacer clic en ella, aparecerán un montón de sugerencias de copia basadas en la inteligencia artificial (y en la copia existente) entre las que puedes elegir.

¿Te parece demasiado bueno para ser verdad? Inscríbete en una prueba gratuita de VWO y evalúa tú mismo la función GPT-3.5 Turbo.

Qué depara el futuro para GPT-3.5 Turbo, la redacción automatizada y las pruebas

Los expertos tienen opiniones encontradas sobre el alcance del GPT-3.5 Turbo y hasta qué punto los humanos pueden aprovecharlo para automatizar la redacción de textos publicitarios. Mientras que algunos opinan que el modelo puede entrenarse para imitar y sustituir la redacción humana, otros sostienen que carece de la capacidad de construir frases cohesionadas, utilizar el razonamiento o la lógica de forma constructiva, o construir una narrativa, algo que sólo se puede esperar de un redactor humano. 

Es difícil prever todo lo que puede ocurrir. No creemos que podamos acertar en todo, desde luego no de entrada. Aun así, es mejor jugar con este tipo de tecnología ahora que todavía se puede controlar y aprender lecciones que se aplicarán a medida que la IA sea cada vez más potente

Greg Brockman, Cofundador y Director Técnico, OpenAI

Si la redacción automatizada será una norma en el futuro es algo que aún estamos por averiguar mientras exploramos todo el potencial de GPT-3.5 Turbo. Sin embargo, lo que sabemos con certeza es que esta innovación va a ser revolucionaria en lo que se refiere a la experimentación con el copy. 

Con tu nuevo socio de IA, conseguirás reducir el tiempo dedicado al trabajo manual, así como las iteraciones con un redactor publicitario. Al generar en cuestión de segundos copias bajo demanda con IA y realizar correcciones rápidas en tiempo real en tu sitio web, puedes crear contenido breve a escala y dar así un paso de gigante hacia el aumento de tu velocidad de experimentación y la evolución de tu programa de CRO. 

El poder de GPT-3.5 Turbo en la optimización basada en la copia es inmenso, y hasta ahora sólo hemos tocado la punta del iceberg. Sin embargo, se recomienda cierta moderación porque no podemos equipararlo a la inteligencia de los redactores humanos, al menos no todavía. El valor real, al menos por ahora, reside en poder probar eficazmente las variaciones de los textos, reduciendo al mismo tiempo las idas y venidas entre redactores y desarrolladores. Lo bueno
es que podemos seguir aprovechando la potencia de GPT-3.5 Turbo para realizar experimentos mejores y más rápidos utilizando plataformas como VWO.