Teste A/B de Copy de Site com GPT-3.5 Turbo Abrindo Novas Portas para Experiências Usando IA

De ajudar inicialmente os humanos com tarefas manuais e redundantes, agora dominando trabalhos criativos, como fazer arte original ou compor música, a IA evoluiu e se transformou de maneiras sem precedentes. Um desses trabalhos criativos que os robôs são surpreendentemente bons é escrever copies! Sim, o GPT-3.5 Turbo (Generative Pre-trained Transformer 3) é uma IA alimentada por rede neural que pode produzir textos quase perfeitos relevantes para o contexto fornecido. Construído pela OpenAI, um laboratório de pesquisa baseado em San Francisco, o GPT-3.5 Turbo é um gerador de linguagem poderoso de terceira geração que usa machine learning para prever e produzir texto, quase como uma pessoa. 

Download Grátis: Guia de Teste A/B

Se você explorar o GPT-3.5 Turbo, veja o que ele denota:

Generativo: Indicando que o objetivo do modelo é gerar texto prevendo uma palavra de cada vez em uma frase dada.

Pré-treinado: Indica que uma grande quantidade de dados foi alimentada no sistema para treiná-lo.

Transformador: Indicando o algoritmo utilizado pelo modelo de IA, que se especializa em processamento de linguagem natural, ou seja, como as palavras são usadas em uma língua e qual é o seu significado.

Uma vez que o GPT-3.5 Turbo recebe um comando, ele gera fluxos de texto ao prever a possibilidade de uma frase existir neste mundo. Atualmente, a funcionalidade está em beta e é oferecida apenas a um grupo seleto (incluindo a VWO) através de uma API acessível via nuvem. 

Sejamos realistas: copywriting não é nada fácil. O modelo de linguagem robusto e flexível do GPT-3.5 Turbo pode produzir copies curtas em grande escala. Se você adicionar a capacidade de testar diferentes versões de uma copy, pode obter o melhor dos dois mundos. Além disso, alguns dos testes mais comumente realizados giram em torno da copy da página. Portanto, integrar a API do GPT-3.5 Turbo da OpenAI com o VWO Testing foi a coisa mais natural e lógica a se fazer.

Nossa nova funcionalidade permite que você use uma copy gerada por IA para criar variações para o conteúdo do seu site e implantá-las sem a ajuda do departamento de TI. Você também pode testar a copy gerada por IA em comparação com a copy original escrita por pessoas em seu site. A próxima seção aborda como marcas populares descobriram as implicações práticas de nosso novo recurso por meio de um concurso amigável entre copies escritas por humanos e copies geradas por IA.

Competição Humanos vs. IA da VWO

Em agosto deste ano, a VWO sediou uma competição amigável entre copies criadas por copywriters e aqueles gerados pela nossa nova funcionalidade impulsionada pela API GPT-3.5 Turbo da OpenAI. Convidamos participantes de todo o mundo e testamos textos gerados por IA contra textos escritos por humanos para suas páginas com tráfego suficiente via VWO ou qualquer outra plataforma de teste que estivessem usando. 

Mais de 450 marcas tiveram acesso ao recurso de geração de copy de IA durante o decorrer desta competição. Entre os 18 participantes pré-selecionados estavam Booking.com, Clark Germany GmbH e Schneiders, para citar alguns. A funcionalidade de IA foi capaz de gerar copies em diferentes idiomas, como espanhol, alemão, português, etc. Os participantes estavam altamente satisfeitos com a precisão do resultado nesses idiomas.

Todos os participantes tiveram que configurar seus testes mantendo a copy original do site como o controle e a(s) gerada(s) pela IA como a variação. 

Resultados da competição

Entre os 18 testes realizados pelos participantes confirmados, 1 teve uma copy escrita humana existente (ou nova) como vencedora, 3 tiveram uma copy IA como vencedora, 3 foram declarados empatados, 2 ainda estão aguardando resultados e 9 foram inconclusivos.

Vamos dar uma olhada em alguns dos testes em que a copy gerada pela IA venceu:

Schneiders [Um eCommerce para roupas e equipamentos para cavalos]

A equipe testou a copy do banner superior criando uma variação da página original usando o gerador de linguagem baseado em IA. Aqui está uma visão do controle e da variação do teste:

Quando foram obtidos resultados estatisticamente significativos, o teste A/B declarou que a variação era a vencedora, pois levou a um aumento de 7,06% nos cliques em seus banners.

Clark Germany GmbH [Uma agência de seguros de Frankfurt]

Foram criadas 3 variações do título da página usando a copy da IA e comparadas com o controle. O teste foi executado por 48 dias. Aqui estão o controle e as variações do teste:

Com a conclusão do teste (significância estatística > 90%), todas as três variações tiveram desempenho superior ao do controle. A variação 2 resultou no aumento máximo de cliques na CTA (15,77%), enquanto as variações 1 e 3 resultaram em um aumento de 9,13% e 7,13%, respectivamente.

Aqui está o teste que declarou a copy humana como vencedora:

Booking.com [Uma empresa global de viagens]

A equipe da Booking.com testou o CTA em suas páginas de reserva de hotéis. 2 copies escritas por humanos foram confrontadas com uma copy gerada por IA. Veja a seguir as variações que eles criaram:

A copy humana #1 venceu o teste, pois resultou em um aumento de 1,7% na taxa de conversão do CTA.

Aqui está um teste que resultou em um empate entre os humanos e a IA:

Springworks [Uma empresa de SaaS da Índia]

A equipe da Springworks testou o título da landing page criando uma variação usando a copy gerada por IA e comparando-a com a original (controle). Seu objetivo era aumentar os cliques no CTA “Add Trivia” [“Adicionar Curiosidade”, em português]. O teste foi executado por 8 dias. Aqui está uma visão do controle e da variação:

Como a diferença no aumento dos cliques do CTA entre o controle e a variação foi inferior a 5% e os resultados do teste foram estatisticamente insignificantes, o teste foi declarado como empate. 

Download Grátis: Guia de Teste A/B

Vamos nos aprofundar nos detalhes de como o VWO Testing e o GPT-3.5 Turbo funcionam juntos

VWO Testing e GPT-3.5 Turbo

Integramos a API GPT-3.5 Turbo da OpenAI ao nosso Visual Editor para que, toda vez que você decidir executar um teste ou implantar uma alteração, possa gerar recomendações de copy a partir das quais poderá optar por criar variações. Isso significa que você pode reduzir o tempo gasto com brainstorming de variações e alternativas, tendo uma biblioteca de ideias geradas por IA prontamente disponível à sua disposição. 

Seja para otimizar títulos, textos de CTA, descrições de produtos ou qualquer outro texto em seu site, é possível gerar alternativas rapidamente e implantá-las diretamente ou testá-las em relação à copy original, sem a ajuda de um desenvolvedor. De qualquer forma, ao automatizar esse aspecto da experimentação, você torna seu programa CRO mais eficiente e ágil. Ao abrir o Visual Editor da VWO e clicar em qualquer parte do texto, você encontrará a opção “Sugerir variações” no menu suspenso.

Ao clicar nele, serão exibidas várias sugestões de copy com tecnologia IA (com base na copy existente) que você pode escolher.

Parece bom demais para ser verdade? Registre-se para uma avaliação gratuita do VWO e avalie você mesmo o recurso do GPT-3.5 Turbo.

O que o futuro reserva para o GPT-3.5 Turbo, copywriting e testes automatizados

Os especialistas têm opiniões conflitantes sobre o escopo do GPT-3.5 Turbo e até que ponto os seres humanos podem aproveitá-lo para automatizar o copywriting. Enquanto alguns acham que o modelo pode ser treinado para imitar e substituir as copies escritas por humanos, outros argumentam que ele não tem a capacidade de construir frases coesas, usar o raciocínio ou a lógica de forma construtiva ou construir uma narrativa – algo que só se pode esperar de um copywriter humano. 

É difícil prever tudo o que pode acontecer. Não achamos que podemos fazer tudo certo, especialmente no início. Ainda assim, é melhor brincar com este tipo de tecnologia agora, enquanto ela ainda pode ser controlada, e aprender lições a serem aplicadas à medida que a IA se torna cada vez mais poderosa

Greg Brockman, Cofundador e CTO da OpenAI

Se o copywriting automatizado será uma norma no futuro é algo que ainda não descobrimos à medida que exploramos todo o potencial do GPT-3.5 Turbo. No entanto, o que sabemos com certeza é que essa inovação será revolucionária no que diz respeito à experimentação de copies. 

Com seu novo parceiro de IA, você reduz o tempo gasto com o trabalho manual e as iterações com um copywriter. Ao gerar uma copy de IA sob demanda em segundos e fazer correções rápidas em tempo real em seu site, você pode criar conteúdo curto em escala e, assim, dar um salto gigantesco para aumentar a velocidade de experimentação e evoluir seu programa de CRO. 

O poder do GPT-3.5 Turbo na otimização orientada por copy é imenso, e até agora só chegamos à ponta do iceberg. No entanto, é aconselhável um pouco de moderação, pois não podemos equipará-lo à inteligência dos copywriters humanos – pelo menos por enquanto. O valor real, pelo menos por enquanto, está na capacidade de testar com eficácia as variações de copy e, ao mesmo tempo, reduzir as idas e vindas com copywriters e desenvolvedores. O bom é que podemos continuar aproveitando o poder do GPT-3.5 Turbo para executar experimentos melhores e mais rápidos usando plataformas como o VWO.