{"id":90235,"date":"2020-11-04T15:21:02","date_gmt":"2020-11-04T09:51:02","guid":{"rendered":"https:\/\/vwo.com\/blog\/ab-testing-gpt-3-5-turbo-ai\/"},"modified":"2025-04-30T10:02:27","modified_gmt":"2025-04-30T04:32:27","slug":"teste-ab-gpt-3-5-turbo-ia","status":"publish","type":"post","link":"https:\/\/vwo.com\/blog\/br\/teste-ab-gpt-3-5-turbo-ia\/","title":{"rendered":"Teste A\/B de Copy de Site com GPT-3.5 Turbo Abrindo Novas Portas para Experi\u00eancias Usando IA"},"content":{"rendered":"\n

De ajudar inicialmente os humanos com tarefas manuais e redundantes, agora dominando trabalhos criativos, como fazer arte original ou compor m\u00fasica, a IA evoluiu e se transformou de maneiras sem precedentes. Um desses trabalhos criativos que os rob\u00f4s s\u00e3o surpreendentemente bons \u00e9 escrever copies! Sim, o GPT-3.5 Turbo (Generative Pre-trained Transformer 3) \u00e9 uma IA alimentada por rede neural que pode produzir textos quase perfeitos relevantes para o contexto fornecido. Constru\u00eddo pela OpenAI<\/a>, um laborat\u00f3rio de pesquisa baseado em San Francisco, o GPT-3.5 Turbo \u00e9 um gerador de linguagem poderoso de terceira gera\u00e7\u00e3o que usa machine learning para prever e produzir texto, quase<\/em> como uma pessoa.\u00a0<\/p>\n\n\n\n

Download Gr\u00e1tis: Guia de Teste A\/B<\/em><\/strong><\/a><\/h2>\n\n\n\n

Se voc\u00ea explorar o GPT-3.5 Turbo, veja o que ele denota:<\/p>\n\n\n\n

Generativo:<\/strong> Indicando que o objetivo do modelo \u00e9 gerar texto prevendo uma palavra de cada vez em uma frase dada.<\/p>\n\n\n\n

Pr\u00e9-treinado:<\/strong> Indica que uma grande quantidade de dados foi alimentada no sistema para trein\u00e1-lo.<\/p>\n\n\n\n

Transformador:<\/strong> Indicando o algoritmo utilizado pelo modelo de IA, que se especializa em processamento de linguagem natural, ou seja, como as palavras s\u00e3o usadas em uma l\u00edngua e qual \u00e9 o seu significado.<\/p>\n\n\n

\n
\"AB<\/figure>\n<\/div>\n\n\n

Uma vez que o GPT-3.5 Turbo recebe um comando, ele gera fluxos de texto ao prever a possibilidade de uma frase existir neste mundo. Atualmente, a funcionalidade est\u00e1 em beta e \u00e9 oferecida apenas a um grupo seleto (incluindo a VWO<\/a>) atrav\u00e9s de uma API acess\u00edvel via nuvem. <\/p>\n\n\n\n

Sejamos realistas: copywriting n\u00e3o \u00e9 nada f\u00e1cil. O modelo de linguagem robusto e flex\u00edvel do GPT-3.5 Turbo pode produzir copies curtas em grande escala. Se voc\u00ea adicionar a capacidade de testar diferentes vers\u00f5es de uma copy, pode obter o melhor dos dois mundos. Al\u00e9m disso, alguns dos testes mais comumente realizados giram em torno da copy da p\u00e1gina. Portanto, integrar a API do GPT-3.5 Turbo da OpenAI com o VWO Testing<\/a> foi a coisa mais natural e l\u00f3gica a se fazer.<\/p>\n\n\n\n

Nossa nova funcionalidade permite que voc\u00ea use uma copy gerada por IA para criar varia\u00e7\u00f5es para o conte\u00fado do seu site e implant\u00e1-las sem a ajuda do departamento de TI. Voc\u00ea tamb\u00e9m pode testar a copy gerada por IA em compara\u00e7\u00e3o com a copy original escrita por pessoas em seu site. A pr\u00f3xima se\u00e7\u00e3o aborda como marcas populares descobriram as implica\u00e7\u00f5es pr\u00e1ticas de nosso novo recurso por meio de um concurso amig\u00e1vel entre copies escritas por humanos e copies geradas por IA.<\/p>\n\n\n

Competi\u00e7\u00e3o Humanos vs. IA da VWO<\/strong><\/h2>\n\n\n

Em agosto deste ano, a VWO sediou uma competi\u00e7\u00e3o amig\u00e1vel<\/a> entre copies criadas por copywriters e aqueles gerados pela nossa nova funcionalidade impulsionada pela API GPT-3.5 Turbo da OpenAI. Convidamos participantes de todo o mundo e testamos textos gerados por IA contra textos escritos por humanos para suas p\u00e1ginas com tr\u00e1fego suficiente via VWO ou qualquer outra plataforma de teste<\/a> que estivessem usando. <\/p>\n\n\n\n

Mais de 450 marcas tiveram acesso ao recurso de gera\u00e7\u00e3o de copy de IA durante o decorrer desta competi\u00e7\u00e3o. Entre os 18 participantes pr\u00e9-selecionados estavam Booking.com, Clark Germany GmbH e Schneiders, para citar alguns. A funcionalidade de IA foi capaz de gerar copies em diferentes idiomas, como espanhol, alem\u00e3o, portugu\u00eas, etc. Os participantes estavam altamente satisfeitos com a precis\u00e3o do resultado nesses idiomas.<\/p>\n\n\n\n

Todos os participantes tiveram que configurar seus testes mantendo a copy original do site como o controle e a(s) gerada(s) pela IA como a varia\u00e7\u00e3o. <\/p>\n\n\n\n

Resultados da competi\u00e7\u00e3o<\/strong><\/h3>\n\n\n\n

Entre os 18 testes realizados pelos participantes confirmados, 1 teve uma copy escrita humana existente (ou nova) como vencedora, 3 tiveram uma copy IA como vencedora, 3 foram declarados empatados, 2 ainda est\u00e3o aguardando resultados e 9 foram inconclusivos.<\/p>\n\n\n\n

Vamos dar uma olhada em alguns dos testes em que a copy gerada pela IA venceu<\/strong>:<\/p>\n\n\n\n

Schneiders [Um eCommerce para roupas e equipamentos para cavalos]<\/strong><\/h4>\n\n\n\n

A equipe testou a copy do banner superior criando uma varia\u00e7\u00e3o da p\u00e1gina original usando o gerador de linguagem baseado em IA. Aqui est\u00e1 uma vis\u00e3o do controle e da varia\u00e7\u00e3o do teste:<\/p>\n\n\n\n

\"Human
Controle [Copy escrita por humano]<\/em><\/figcaption><\/figure>\n\n\n\n
\"Gpt
Varia\u00e7\u00e3o [Copy gerada por IA<\/em>]<\/figcaption><\/figure>\n\n\n\n

Quando foram obtidos resultados estatisticamente significativos, o teste A\/B declarou que a varia\u00e7\u00e3o era a vencedora, pois levou a um aumento de 7,06% nos cliques em seus banners.<\/p>\n\n\n\n

Clark Germany GmbH [Uma ag\u00eancia de seguros de Frankfurt]<\/strong><\/h4>\n\n\n\n

Foram criadas 3 varia\u00e7\u00f5es do t\u00edtulo da p\u00e1gina usando a copy da IA e comparadas com o controle. O teste foi executado por 48 dias. Aqui est\u00e3o o controle e as varia\u00e7\u00f5es do teste:<\/p>\n\n\n\n

\"Human
Control [Human-written copy]<\/em>
English translation: Manage Your Insurance Digitally<\/em>
<\/figcaption><\/figure>\n\n\n\n
\"Gpt
Varia\u00e7\u00e3o 1 [Copy da IA]<\/em>
Tradu\u00e7\u00e3o em Portugu\u00eas: Administre Seu Seguro Digitalmente<\/em>
<\/span><\/div><\/span><\/figcaption><\/figure>\n\n\n\n
\"Variation
Varia\u00e7\u00e3o 2 [Copy da IA]
Tradu\u00e7\u00e3o em Portugu\u00eas: Mantenha o Controle de Seus Seguros
<\/span><\/div><\/span><\/figcaption><\/figure>\n\n\n\n
\"Variation
Varia\u00e7\u00e3o 3 [Copy da IA]<\/em>
Tradu\u00e7\u00e3o em Portugu\u00eas: A Clark \u00e9 Sua Gerente de Seguros Digital<\/em>
<\/span><\/div><\/span><\/figcaption><\/figure>\n\n\n\n

Com a conclus\u00e3o do teste (signific\u00e2ncia estat\u00edstica > 90%), todas as tr\u00eas varia\u00e7\u00f5es tiveram desempenho superior ao do controle. A varia\u00e7\u00e3o 2 resultou no aumento m\u00e1ximo de cliques na CTA (15,77%), enquanto as varia\u00e7\u00f5es 1 e 3 resultaram em um aumento de 9,13% e 7,13%, respectivamente.<\/p>\n\n\n\n

Aqui est\u00e1 o teste que declarou a copy humana como vencedora<\/strong>:<\/p>\n\n\n\n

Booking.com [Uma empresa global de viagens]<\/strong><\/h4>\n\n\n\n

A equipe da Booking.com testou<\/a> o CTA em suas p\u00e1ginas de reserva de hot\u00e9is. 2 copies escritas por humanos foram confrontadas com uma copy gerada por IA. Veja a seguir as varia\u00e7\u00f5es que eles criaram:<\/p>\n\n\n\n

\"Human
Varia\u00e7\u00e3o 1 [Copy escrita por humanos #1<\/em>]<\/figcaption><\/figure>\n\n\n\n
\"Gpt
Varia\u00e7\u00e3o 2 [Copy escrita por humanos #2]<\/em><\/figcaption><\/figure>\n\n\n\n
\"Variation
Varia\u00e7\u00e3o 3 [Copy gerada por IA]<\/em><\/figcaption><\/figure>\n\n\n\n

A copy humana #1 venceu o teste, pois resultou em um aumento de 1,7% na taxa de convers\u00e3o do CTA.<\/p>\n\n\n\n

Aqui est\u00e1 um teste que resultou em um empate entre os humanos e a IA<\/strong>:<\/p>\n\n\n\n

Springworks [Uma empresa de SaaS da \u00cdndia]<\/strong><\/h4>\n\n\n\n

A equipe da Springworks testou o t\u00edtulo da landing page<\/a> criando uma varia\u00e7\u00e3o usando a copy gerada por IA e comparando-a com a original (controle). Seu objetivo era aumentar os cliques no CTA \u201cAdd Trivia\u201d [“Adicionar Curiosidade”, em portugu\u00eas]. O teste foi executado por 8 dias. Aqui est\u00e1 uma vis\u00e3o do controle e da varia\u00e7\u00e3o:<\/p>\n\n\n

\n
\"Human
Controle [Copy escrita por humano]<\/em>
<\/figcaption><\/figure>\n<\/div>\n\n
\n
\"Gpt
Varia\u00e7\u00e3o [Copy da IA]<\/em>
<\/figcaption><\/figure>\n<\/div>\n\n\n

Como a diferen\u00e7a no aumento dos cliques do CTA entre o controle e a varia\u00e7\u00e3o foi inferior a 5% e os resultados do teste foram estatisticamente insignificantes, o teste foi declarado como empate. <\/p>\n\n\n\n

Download Gr\u00e1tis: Guia de Teste A\/B<\/em><\/strong><\/a><\/h2>\n\n\n\n

Vamos nos aprofundar nos detalhes de como o VWO Testing<\/a> e o GPT-3.5 Turbo funcionam juntos<\/p>\n\n\n

VWO Testing e GPT-3.5 Turbo<\/strong><\/h2>\n\n\n

Integramos a API GPT-3.5 Turbo da OpenAI ao nosso Visual Editor<\/a> para que, toda vez que voc\u00ea decidir executar um teste ou implantar uma altera\u00e7\u00e3o, possa gerar recomenda\u00e7\u00f5es de copy a partir das quais poder\u00e1 optar por criar varia\u00e7\u00f5es. Isso significa que voc\u00ea pode reduzir o tempo gasto com brainstorming de varia\u00e7\u00f5es e alternativas, tendo uma biblioteca de ideias geradas por IA prontamente dispon\u00edvel \u00e0 sua disposi\u00e7\u00e3o. <\/p>\n\n\n\n

Seja para otimizar t\u00edtulos, textos de CTA, descri\u00e7\u00f5es de produtos ou qualquer outro texto em seu site, \u00e9 poss\u00edvel gerar alternativas rapidamente e implant\u00e1-las diretamente ou test\u00e1-las em rela\u00e7\u00e3o \u00e0 copy original, sem a ajuda de um desenvolvedor. De qualquer forma, ao automatizar esse aspecto da experimenta\u00e7\u00e3o<\/a>, voc\u00ea torna seu programa CRO<\/a> mais eficiente e \u00e1gil. Ao abrir o Visual Editor<\/a> da VWO e clicar em qualquer parte do texto, voc\u00ea encontrar\u00e1 a op\u00e7\u00e3o \u201cSugerir varia\u00e7\u00f5es\u201d no menu suspenso. <\/p>\n\n\n\n

Ao clicar nele, ser\u00e3o exibidas v\u00e1rias sugest\u00f5es de copy com tecnologia IA (com base na copy existente) que voc\u00ea pode escolher.<\/p>\n\n\n\n

\n