Multivariate Testing (Teste Multivariado)

O que é Multivariate Testing?

Multivariate Testing (MVT) é uma forma de teste A/B em que uma combinação de múltiplos elementos da página é modificada e testada em relação à versão original (chamada de controle) para determinar qual permutação causa o maior impacto nas métricas de negócios que você está rastreando. Essa forma de teste é recomendada se você quiser testar o impacto de mudanças radicais em uma página, em comparação com a análise do impacto de um elemento específico.

Diferentemente de um teste A/B tradicional, o MVT é mais complexo e mais adequado para profissionais avançados de marketing, produto e desenvolvimento. Vamos considerar um exemplo para dar a você uma explicação mais abrangente dessa metodologia de teste e ver como ela ajuda na otimização da taxa de conversão.

Digamos que você tenha um negócio online de chocolates caseiros. A landing page de seu produto normalmente tem três elementos importantes para atrair visitantes e empurrá-los para o funil de conversão: imagens do produto, cor do botão de call-to-action e título do produto. Você decide testar duas versões de todos os três elementos para entender qual combinação tem o melhor desempenho e aumenta sua taxa de conversão. Isso tornaria seu teste um teste multivariado (Multivariate Testing).

Um conjunto de 2 variantes para 3 elementos de página significa um total de 8 combinações de variantes. A fórmula para calcular o número total de versões no MVT é a seguinte:

[Nº de variantes do elemento A] x [Nº de variantes do elemento B] x [Nº de variantes do elemento C]… = [Nº total de variantes]

Agora, as combinações variantes seriam:

2 (imagem do produto) x 2 (cor do botão de CTA) x 2 (título do produto) = 8

Agora, cada uma dessas combinações será testada simultaneamente para analisar qual delas ajuda a obter o máximo de conversões na landing page do seu produto.

Observe que o Multivariate Testing elimina a necessidade de executar múltiplos testes A/B e testes A/B subsequentes para encontrar a variante vencedora. Executar testes simultâneos com combinações de variantes maiores não só ajuda a economizar tempo, dinheiro e esforço, mas também a tirar conclusões no menor tempo possível.

Aqui está um exemplo real de Multivariate Testing para comprovar os benefícios dessa metodologia de experimentação.

O Hyundai.io descobriu que, embora o tráfego em suas landing pages de modelos de carros fosse significativo, poucas pessoas solicitavam um test drive ou faziam download de folhetos sobre os carros. Usando as ferramentas qualitativas e quantitativas do VWO, eles analisaram que cada uma de suas landing pages tinha muitos elementos diferentes, incluindo o título do carro, visual do carro, especificações do carro, depoimentos e assim por diante, o que poderia estar causando atrito. Eles decidiram executar Multivariate Testing para entender quais elementos estavam influenciando a decisão do visitante de solicitar um test drive ou fazer o download de um folheto sobre o carro.

Eles criaram variantes das seguintes seções da landing page do carro:

• Novo texto amigável para SEO vs. texto antigo: A hipótese era que, ao tornar o texto mais amigável para SEO, eles poderiam obter mais benefícios de SEO.
• Botões de CTA extras vs. nenhum botão de CTA extra: A hipótese é que, ao adicionar botões de CTA extras e mais proeminentes na página, eles poderão direcionar os visitantes para a direção certa.
• Foto grande do carro versus miniaturas: A hipótese levantada é que é melhor ter fotos maiores na página do que miniaturas para criar uma melhor tração do visitante

O Hyundai.io testou um total de 8 combinações (3 seções, 2 variantes cada = 2*2*2) em seu site.

Aqui está uma captura de tela da página original e da variante vencedora:

A variante com botões de CTA extras e mais amigáveis para SEO e imagens maiores aumentou as taxas de conversão da Hyundai.io para ambos, solicitação de test drive e download de folheto, em um total de 62%. Eles também observaram um aumento de 208% em sua taxa de cliques.

O MVT não se restringe apenas a testar o desempenho de suas páginas. Você pode usá-lo em uma série de campos. Por exemplo, você pode testar seus anúncios PPC, códigos do lado do servidor e assim por diante. No entanto, o MVT só deve ser usado em segmentos de visitantes de tamanho suficiente. Uma análise mais aprofundada significa um tempo de conclusão mais longo. Você também não deve testar muitas variáveis de uma só vez, pois o teste levará mais tempo para ser concluído e poderá ou não atingir significância estatística.

Compreensão de algumas terminologias básicas do Multivariate Testing

Embora seja parte integrante dos testes A/B, há algumas terminologias específicas dos testes multivariados que qualquer pessoa que esteja entrando nessa área de experimentação deve conhecer.

1. Combinação: Refere-se a um número de arranjos ou uniões possíveis que você pode criar para testar uma coleção de opções variáveis em múltiplos locais. A ordem de seleção ou permutação não importa. Por exemplo, se você estiver testando três elementos em sua página inicial, cada um com três opções variáveis, haverá um total de 27 combinações possíveis (3x3x3) que você testará. Quando um visitante participa de seu teste, ele verá uma combinação, também chamada de experiência, quando visitar seu site.
2. Conteúdo: Texto, imagem ou qualquer elemento que se torne parte de um experimento. Nos testes multivariados, diversas opções de conteúdo espalhadas em uma página são comparadas em conjunto para analisar qual combinação apresenta os melhores resultados. Às vezes, o conteúdo também é chamado de nível no MVT.
3. Localização: Idealmente, um local se refere a uma página do site ou a uma área específica em que você executa otimizações. É essencial para as atividades e experiências do site, além de exibir conteúdo aos visitantes ou rastrear o comportamento dos visitantes.
4. Controle: Idealmente, o controle refere-se à página, ao elemento ou ao conteúdo original em relação ao qual você está planejando executar um teste. Ele também representa o “A” no cenário de teste A/B. Por exemplo, se você quiser testar o desempenho da imagem de banner da sua página inicial, a imagem de banner original ou existente será o “controle”. O controle também é frequentemente chamado de “Campeão” por muitos otimizadores experientes.
5. Meta: um evento ou uma combinação de eventos que ajudam a medir o sucesso de um teste ou de um experimento. Por exemplo, a meta de um redator de conteúdo é aumentar o engajamento dos visitantes em suas peças de conteúdo e até mesmo gerar leads de conteúdo.
6. Nível de confiança: o quanto você é positivo ou assertivo em relação ao sucesso do seu experimento.
7. Taxa de conversão: A porcentagem de visitantes únicos que entram em seu funil de conversão e se convertem em clientes pagantes.
8. Elemento: Um componente discreto da página, como um formulário, um bloco de texto, uma imagem, um botão de call-to-action, etc.
9. Experimento: É outra maneira de avaliar o desempenho de um ou mais elementos da página.
10. Hipótese: Uma suposição provisória feita para esboçar e testar uma consequência lógica ou empírica de um determinado problema. Um exemplo de uma hipótese poderia ser: Com base nos experimentos executados anteriormente e nos dados qualitativos coletados por meio da análise do mapa de calor e do mapa de rolagem, espero que a adição de CTAs de banner e texto na página do guia em intervalos regulares ajude a gerar mais leads de conteúdo e MQLs.
11. Resultados não conclusivos: Não obter nenhuma conclusão sólida do(s) experimento(s) que você executou. Os resultados não conclusivos não apontam para o fracasso de um teste, em vez disso, apenas para o fracasso de se obter uma curva de aprendizagem.
12. Pesquisa qualitativa: Uma técnica de coleta e análise de dados não numéricos de clientes existentes e potenciais para entender um conceito, uma opinião ou uma experiência.
13. Pesquisa quantitativa: Pesquisa de dados numéricos derivados de análises para encontrar insights sobre o comportamento dos visitantes de seu site e fazer análises estatísticas.
14. Visitantes: Uma pessoa ou uma entidade única que visita seu site ou landing pages. Eles são chamados de únicos porque não importa quantas vezes uma pessoa visite seu site ou página, ela é contada apenas uma vez.

Quais são os diferentes tipos de métodos de Multivariate Testing?

O MVT é, por si só, uma metodologia abrangente. Há diversos tipos diferentes de testes multivariados que você pode optar por executar. Definimos cada um deles em detalhes abaixo.

1. Teste fatorial completo

Esse é o método MVT mais básico e mais frequentemente usado. Usando essa metodologia de teste, você basicamente distribui o tráfego do seu site igualmente entre todas as combinações de teste. Por exemplo, se estiver planejando testar 8 tipos diferentes de combinações em sua página inicial, cada variante de teste receberá um oitavo de todo o tráfego do site.

Como cada variante recebe a mesma quantidade de tráfego, o método de teste fatorial completo oferece todos os dados necessários para determinar qual variante de teste e quais elementos da página têm o melhor desempenho. Você poderá descobrir qual elemento não teve efeito sobre suas métricas de negócios segmentadas e quais foram os que mais as influenciaram.

Como essa metodologia MVT não faz suposições com relação à estatística ou à matemática de teste usada em segundo plano, nossos otimizadores experientes a recomendam para pessoas que executam ou planejam executar Multivariate Testing.

Aumente seu faturamento recorrente otimizando seu site usando a metodologia de testes multivariados do VWO. Registre-se e comece seu teste grátis de 1 mês hoje mesmo!

2. Teste fatorial parcial ou fracionário

A metodologia MVT fatorial parcial ou fracionada expõe apenas uma fração de todas as variantes de teste ao tráfego total do site. A taxa de conversão das variantes de teste não expostas é interpretada a partir daquelas que foram incluídas no teste.

Digamos que você queira testar 16 variantes ou combinações da página inicial de seu site. Em um teste regular (ou teste fatorial completo), o tráfego é dividido igualmente entre todas as variantes. No entanto, no caso do teste fatorial fracionário, o tráfego é dividido entre apenas 8 variantes. A taxa de conversão das 8 variantes restantes é calculada ou deduzida estatisticamente com base naquelas realmente testadas.

Esse método envolve o uso de técnicas matemáticas avançadas e o uso de múltiplos pressupostos para obter insights, e tem muitas desvantagens. Um ponto positivo dessa metodologia MVT é que ela exige menos tráfego. É uma boa opção para sites ou páginas com pouco tráfego.

Entretanto, independentemente das técnicas matemáticas avançadas usadas para obter resultados com significância estatística usando o teste fatorial fracionário, dados concretos são sempre melhores do que especulações.

3. Método de Taguchi

Esse é um método MVT antigo e esotérico. Se você fizer uma pesquisa no Google, verá que a maioria das ferramentas no mercado atual afirma reduzir o tempo de teste e a necessidade de tráfego usando a técnica de teste Taguchi. É mais uma técnica de “controle de qualidade offline”, pois ajuda a testar e garantir o bom desempenho de produtos ou processos em seu estágio de design.

Embora alguns otimizadores considerem essa uma boa metodologia de MVT, nós da VWO acreditamos que essa é uma prática antiga que não é teoricamente sólida. Ela foi usada inicialmente no setor de manufatura para reduzir o número de combinações necessárias a serem testadas para controle de qualidade e outros experimentos.

O método de Taguchi não é aplicável ou adequado para testes online e, portanto, não é recomendado. Use a abordagem MVT de fatorial completo ou fatorial parcial.

Qual é a diferença de Multivariate Testing?

Testes A/B versus Multivariate Testing

Pergunte a um otimizador de experiência e ele dirá que o uso ideal do teste A/B é analisar o desempenho de dois ou mais elementos radicalmente diferentes do site. Enquanto isso, o MVT é uma técnica perfeita para testar qual combinação de elemento(s) de página obtém o máximo de conversões.

Em termos de teste, geralmente é recomendado usar o teste A/B para encontrar o que é chamado de “máximo global” e o MVT para refinar seu caminho em direção ao “máximo local”.

Vamos dar um exemplo para entender o conceito de máximo global e máximo local.

Imagine por um segundo que você nunca provou um único pedaço de chocolate em sua vida e está em uma loja de chocolates olhando para 25 tipos diferentes de chocolates, confuso sobre qual deles comprar.

Provavelmente há 5 tipos diferentes de chocolates de caramelo, 10 variedades diferentes de trufas, 6 variantes diferentes de pirulitos e 4 tipos diferentes de chocolates de frutas exóticas. Você vai provar todos esses 25 sabores antes de decidir qual deles comprar?

Você pode experimentar um tipo de chocolate de cada uma das categorias mencionadas acima, mas certamente não todos. Se descobrir que gosta mais de trufas do que de pirulitos, chocolates de caramelo e chocolates de frutas exóticas, você começará a provar mais sabores de trufas, como “trufas de coco”, “trufas de Oreo”, “trufas de chocolate com calda” e assim por diante, para decidir qual dos sabores de trufas você mais gosta.

Em termos estatísticos, diríamos que a categoria de chocolates de que você mais gosta se tornará o máximo global. Esse é o tipo de chocolate que se adaptou ao seu paladar e teve o melhor sabor entre todos. Quando você chegar aos sabores específicos de trufas, ou seja, trufa de coco, trufa de Oreo, fudge de chocolate e outros, descobrirá o máximo local – a melhor versão da variedade que você escolheu.

Como otimizador de experiência, você deve abordar os testes de maneira semelhante. Encontre a página que lhe proporciona o máximo de conversões (máximo global) e, em seguida, teste combinações de elementos específicos nessa página para entender qual delas melhora o desempenho da página e a torna a página de maior conversão (máximo local). O que você está procurando, máximo global ou máximo local, definirá qual metodologia de teste deve ser usada.

Aqui está uma lista de prós e contras do uso de testes A/B e testes multivariados.

Teste A/B

Multivariate Testing

Benefícios: 1. Um método de experimentação comparativamente simples de projetar e executar. 2. Ajuda a concluir debates sobre táticas de campanha quando há uma hipótese em questão. 3. Ajuda a gerar resultados com significância estatística, mesmo com amostras de tráfego menores. 4. Fornece relatórios de resultados claros e detalhados que são fáceis de serem interpretados e implementados até mesmo por equipes não técnicas. Contras: 1. Limitado ao teste de um único elemento com poucas variantes, normalmente de 2 a 3. 2. Não é possível analisar a interação entre diferentes elementos da página na mesma campanha de teste.

Benefícios: 1. Fornece insights sobre a interação entre múltiplos elementos da página. 2. Fornece uma visão granular sobre qual elemento causa impacto no desempenho de uma página. 3. Permite que os otimizadores comparem várias versões de uma campanha e concluam qual delas tem o impacto máximo.  Contras: 1. Uma metodologia de experimentação comparativamente complexa para projetar e executar. 2. Requer mais tráfego do que um teste A/B para mostrar resultados com significância estatística. 3. O excesso de combinações dificulta a interpretação dos resultados. 4. Pode ser um exagero quando um teste A/B poderia ter sido suficiente para mostrar resultados.

Teste de URL dividida vs Multivariate Testing

Supondo que você esteja bastante esclarecido sobre a definição e o conceito de MVT, começaremos detalhando o conceito de teste de URL dividida. Em vez de testar os elementos da página em um nível granular, como no caso do MVT, um teste de URL dividida permite executar um teste no nível da página. Ou seja, as variantes no caso do teste de URL dividida são dramaticamente diferentes e hospedadas em URLs separadas, mas têm a mesma meta final.

Vamos continuar com o exemplo de um negócio online de chocolates caseiros. Imagine que sua página inicial atual tenha um banner que mostre diferentes ofertas em execução no site, juntamente com uma seção que exibe seus produtos em destaque, outra seção que destaca diferentes categorias de chocolate, a história da marca e receitas relacionadas. De acordo com sua intuição, a página parece atraente e tem potencial para converter.

No entanto, depois de analisar os resultados qualitativos, visualizar mapas de calor, gravar sessões etc., você descobre que muitos elementos da sua página inicial não estão mostrando os resultados que deveriam.

Se decidir executar um teste de URL dividida, poderá criar um design de página totalmente novo com elementos colocados de maneira diferente e comparar o desempenho dessa variante com o controle para analisar qual delas está gerando mais conversões.

Enquanto isso, se você decidir executar um teste multivariado, poderá criar permutações de diferentes elementos da página que deseja examinar, talvez testar cores diferentes do botão de CTA da sua página inicial, da imagem do banner, dos subtítulos etc. e verificar qual combinação gera o máximo de conversão. Pode haver um número “n” de permutações que você pode testar com o MVT.

Um dos principais motivos pelos quais o MVT é melhor do que o teste de URL dividida é que o último exige muita largura de banda da equipe de design e desenvolvimento e é um processo demorado. O MVT, por outro lado, é comparativamente menos complexo de executar e também exige menos largura de banda.

Aqui está uma tabela de comparação entre o teste de URL dividida e o MVT:

Teste de URL dividida

Multivariate Testing

Benefícios: 1. Mudanças consideráveis, como designs de página completamente novos, são testadas para verificar qual delas obtém o máximo de tração e conversões. 2. As variantes são criadas em URLs separadas para manter a distinção e a clareza. 3. Ajuda a examinar diferentes fluxos de página e mudanças complexas, como uma reformulação completa da página inicial de seu site, da página de produtos etc. 4. Com o teste de URL dividida, você testa uma página completamente nova. Contras: 1. Um teste comparativamente complexo para projetar e executar. 2. Requer muita largura de banda da equipe de design e desenvolvimento. 3. Avaliar o desempenho de um site como um todo, ignorando o desempenho de elementos individuais da página.

Benefícios: 1. A combination of web page elements are modified and tested to check which permutation gets maximum conversions.  2. Runs on a granular level to understand the performance of each page element. 3. Comparatively test more variations.Requires less changes in terms of design and layout.  Contras: 1. Geralmente requer mais tráfego para alcançar significância estatística. 2. Exige mais combinações variáveis para executar e mostrar resultados. 3. O tráfego distribuído entre as variantes é muito pequeno. Isso às vezes torna os resultados do teste não confiáveis. 4. Como são testadas alterações mais sutis, o impacto na taxa de conversão pode não ser significativo ou dramático.

Teste de várias páginas vs Multivariate Testing

Como o nome sugere, o teste de várias páginas é uma forma de método de experimentação em que as alterações em elementos específicos são testadas em múltiplas páginas. Por exemplo, você pode modificar os principais botões de CTA do seu site de e-commerce de chocolate caseiro (Adicionar ao Carrinho e Tornar-se Membro) na página inicial, replicar a alteração em todo o site e executar um teste de várias páginas para analisar os resultados.

Em comparação com o MVT, os otimizadores sugerem que é melhor usar o teste de várias páginas quando se deseja fornecer uma experiência consistente ao seu tráfego, quando se está reformulando o site ou quando se deseja melhorar o funil de conversão. Enquanto isso, se quiser mapear o desempenho de determinados elementos em uma página específica, use o teste A/B ou o MVT.

Aqui está uma distinção clara entre testes de várias páginas e testes multivariados.

Teste de várias páginas

Multivariate Testing

Benefícios: 1. Criar um teste para mapear o desempenho de um elemento específico, como a navegação em todo o site, em todo o site. 2. Executar testes de funil para examinar diferentes vozes e tons nas páginas. 3. Experimentar diferentes teorias de design e analise qual delas é a melhor. 4. Ajuda a mapear a taxa de conversão em todo o site. Contras: 1. Requer um tráfego enorme para mostrar resultados com significância estatística. 2. Pode levar mais tempo do que o normal para ser concluído. Obter resultados com essa forma de método de experimentação pode ser complicado.

Benefícios:  1. Excelente para tomar decisões de microconversão 2. Você pode validar até mesmo as escolhas mais minuciosas, como a cor de um botão de CTA. 3. Fornece insights informativos sobre como os diferentes elementos da página funcionam juntos. 4. Determinar a contribuição de elementos individuais da página. 5. Elimina a necessidade de executar múltiplos testes A/B. Contras: 1. Mais permutações ou variantes significam mais tempo para que um teste atinja o estágio de significância estatística. 2. Ao contrário do teste de várias páginas, você pode testar as alterações somente em uma página específica de cada vez no MVT.

Como executar o Multivariate Testing?

O processo de configuração e execução do MVT não é muito diferente de um teste A/B comum, exceto por algumas etapas intermediárias. Mas começaremos do início para que o processo permaneça novo. Vamos nos aprofundar.

1. Identificar um problema

A primeira etapa para executar o MVT e melhorar o desempenho de sua página é analisar os dados e identificar todas as lacunas que estão causando a desistência dos visitantes. Por exemplo, o link anexado ao botão “baixar guia” pode estar quebrado ou o formulário na página do produto pode estar solicitando mais informações do que o necessário. Para identificar esses pontos de ambiguidade, siga as etapas a seguir.

• Conduzir pesquisas informais: Dê uma olhada nos feedbacks do suporte ao cliente e examine as análises de produtos para entender como as pessoas estão reagindo aos seus produtos e serviços. Converse com suas equipes de vendas, suporte e design para obter feedback honesto sobre seu site do ponto de vista do cliente.
• Identificar as brechas: Use ferramentas qualitativas e quantitativas para identificar tendências que mostrem como os visitantes do seu site interagem com as páginas principais do site.
  • Ferramentas quantitativas, como o Google Analytics, para analisar a taxa de rejeição, o tempo gasto na página, a porcentagem de saída e métricas semelhantes.
  • Ferramentas qualitativas, como mapas de calor para ver onde a maioria dos visitantes do seu site está concentrando a atenção, mapas de rolagem para analisar até onde eles estão rolando a página e gravações de sessões para visualização de toda a jornada.
• Explorar a opção de testes de usabilidade: Essa ferramenta oferece um insight sobre como as pessoas estão realmente usando ou navegando pelo seu site. Com os testes de usabilidade, você pode obter feedback direto sobre os problemas dos visitantes e elaborar as soluções necessárias.

O VWO Insights oferece um conjunto completo de ferramentas qualitativas e quantitativas, como mapas de calor, mapas de rolagem, mapas de cliques, gravações de sessões, análise de formulários, etc., para uma análise rápida e informativa.

2. Definir suas metas e formular uma hipótese

Uma experimentação bem-sucedida começa com a definição clara das metas. São essas metas ou métricas que ajudam a preparar estratégias de teste inteligentes em relação à seleção de elementos e suas variantes. Por exemplo, se estiver tentando aumentar o valor médio do pedido (AOV) ou o faturamento por visitante (RPV), poderá selecionar elementos que ajudem diretamente nessas métricas e criar variantes diferentes.

Depois de definir suas metas e selecionar os elementos da página a serem testados, é hora de formular uma hipótese. Uma hipótese é basicamente uma solução sugerida para um problema. Por exemplo, depois de examinar o mapa de calor da página do seu produto e analisar que o botão “Adicionar ao carrinho” não está visível de forma proeminente, talvez você formule a hipótese de que “com base nas observações coletadas por meio do mapa de calor e de outras ferramentas qualitativas, espero que, se colocarmos o botão “Adicionar ao carrinho” em uma caixa colorida, veremos uma alta interação do visitante com o botão e mais conversões”.

Aqui está um formato de hipótese que nós da VWO usamos:

Se não tiver uma boa ferramenta de mapa de calor em seu arsenal, use o gerador gratuito de mapa de calor com IA do VWO para saber como os visitantes provavelmente se engajarão em sua página. Você também pode investir no VWO Insights para gerar dados reais sobre o comportamento dos visitantes e usá-los a seu favor.

3. Criar variantes

Após formar uma hipótese e ter uma boa ideia de quais elementos da página você deseja testar, a próxima etapa é criar variantes. Inclua em seu site novos elementos ou variantes, como botões de call-to-action mais claros e visíveis, imagens aprimoradas, textos mais factuais e que correspondam às expectativas dos visitantes, e assim por diante.

O VWO fornece uma plataforma excelente e altamente fácil de usar para executar um teste multivariado. Usando o Editor Visual do VWO, você pode brincar com seu site e seus elementos e criar quantas variantes quiser sem a ajuda de um desenvolvedor. Assista a este vídeo sobre “Introdução ao Editor Visual do VWO” para saber mais.

https://youtu.be/nLQilg2wawc

4. Determinar o tamanho de sua amostra

Conforme declarado nas seções acima, é melhor executar o MVT em uma página com alto volume de tráfego. Se optar por executá-lo em um volume de tráfego pequeno, é mais provável que seu teste falhe ou demore mais do que o normal para atingir o estágio de significância estatística. Quanto maior o volume de tráfego, melhor será a divisão do tráfego entre as variantes e, portanto, melhores serão os resultados do teste.

Você pode usar nossa calculadora de duração de testes A/B e multivariados para descobrir quanto tráfego e quanto tempo precisa para executar o MVT com base no volume de tráfego atual do site, no número de variantes, incluindo o controle, e na significância estatística.

 

5. Revisar a configuração do teste

A próxima etapa para executar um MVT eficaz e bem-sucedido é revisar a configuração do teste em seu aplicativo de teste. Você pode estar confiante de que tomou todas as medidas necessárias e adicionou as variantes corretamente em seu aplicativo de teste, mas não há mal algum em revisá-lo completamente uma ou duas vezes mais.

Uma das vantagens mais claras de realizar uma revisão é que ela lhe dá a oportunidade de garantir que todos os elementos tenham sido adicionados corretamente e que todas as seleções de teste necessárias tenham sido feitas. Reservar um tempo para verificar a qualidade do teste é uma etapa essencial para garantir seu sucesso.

6. Começar a direcionar o tráfego

Se você acha que sua página não tem tráfego suficiente para apoiar o experimento MVT, é hora de procurar maneiras de fazer isso. Seu trabalho é garantir que sua página tenha o máximo de tráfego possível para assegurar que seus esforços de teste não falhem. Use publicidade paga, promoção em mídias sociais e outros métodos de geração de tráfego para provar ou refutar a hipótese com a qual você está jogando atualmente.

7. Analisar seus resultados

Depois que o teste tiver feito o curso devido e atingido o estágio de significância estatística, é hora de acessar os resultados e verificar se a hipótese estava certa ou errada.

Como você testou múltiplos elementos de página de uma só vez, dedique algum tempo para interpretar seus resultados. Examine cada variante e analise seu desempenho. Observe que não é necessário que uma variante vencedora seja a melhor a ser implementada permanentemente em seu site. vezes, esses resultados podem ser inconclusivos. Use ferramentas qualitativas, como mapas de calor, mapas de cliques, gravações de sessões, análise de formulários, etc. para examinar o desempenho de cada variante e tirar uma conclusão.

Afinal, é importante garantir a validade de seu teste e implementar alterações em sua página de acordo com a preferência de seu público e proporcionar a experiência que ele deseja. 

Como executar o Multivariate Testing em um site de baixo tráfego?

Concluímos várias vezes que o MVT requer mais tráfego do que um teste A/B para mostrar resultados com significância estatística. Mas isso significa que os sites com baixo volume de tráfego não podem fazer testes multivariados? Absolutamente não!

A teoria por trás do MVT que exige alto tráfego é bastante óbvia. Quanto maior o número de variantes, maior será a divisão do tráfego entre as variantes e, portanto, mais tempo levará para obter resultados conclusivos. Se estiver planejando executar o MVT em um site com baixo volume de tráfego, tudo o que precisa fazer é fazer algumas modificações.

1. Teste somente alterações de alto impacto

Digamos que haja 6 elementos na página do seu produto que você acredita terem o potencial de melhorar o desempenho da sua página e até mesmo aumentar as conversões. Todos eles têm o mesmo potencial? Provavelmente não. Alguns podem ser mais impactantes e ter efeitos mais perceptíveis do que outros.

Quando estiver planejando executar o MVT em um site de baixo tráfego, concentre suas energias em testar os elementos do site que podem ter um impacto significativo no desempenho e nas metas da sua página, em vez de testar pequenas modificações com baixa intensidade de impacto.

Embora possa ser intimidador testar mudanças radicais, quando você o faz, a probabilidade de elas mostrarem uma diferença significativa na taxa de conversão também é alta. Independentemente do resultado, os aprendizados e os insights valiosos sobre o comportamento de seus clientes e a percepção de sua marca podem ajudar a executar testes futuros e a tomar decisões comerciais bem informadas.

2. Use menos variantes

Não é preciso dizer que um baixo volume de tráfego significa testar um número menor de variantes. Entendemos que é tentador testar diferentes ideias de otimização para resolver os problemas dos visitantes. Porém, com cada variante adicionada em seu teste, o tempo para alcançar a significância estatística também aumenta. Não corra esse risco. Faça testes pequenos e vá devagar. Isso pode lhe custar alguns esforços e recursos extras, mas certamente economizará muito tempo em comparação com a execução do MVT com um número maior de variantes.

Use ferramentas como mapas de calor, mapas de rolagem, gravações de sessões, testes de usabilidade, etc. para encontrar elementos de página de alto impacto. Use o modelo ICE (impacto, confiança, facilidade) para criar um pipeline de testes e segui-lo.

3. Foco em microconversões

Sua meta principal pode ser aumentar as inscrições na página, a taxa de cliques ou as conversões gerais, mas faz sentido usá-las como métricas principais quando você sabe que levaria muito mais tempo para reunir conversões suficientes e até mesmo verificar os resultados do teste? Certamente que não.

A melhor coisa a fazer é testar as conversões em um nível micro. Um nível em que as conversões são abundantes e podem ajudá-lo a otimizar sua página rapidamente. Por exemplo, concentre seus esforços em aumentar a taxa de engajamento da página, os cliques no botão adicionar ao carrinho, os cliques em imagens etc.

Outras metas podem ser a definição de uma meta de conversão que é acionada quando um visitante preenche um formulário pop-up de intenção de saída permanece em seu site por mais de 30 minutos ou rola para baixo em uma determinada profundidade/dobra em sua página de cópia longa. Você também pode usar uma ferramenta quantitativa como o Google Analytics para analisar quais conversões mapear ou usar como metas para otimizar seu site.  

4. Considere reduzir sua configuração de significância estatística

Quando não tiver a vantagem de executar um teste em uma amostra grande, recorra a outros métodos para medir o desempenho do seu controle e da variante. Não espere que seu teste atinja o nível de significância estatística. Se sua ferramenta de teste permitir, você também pode reduzir os níveis de significância estatística. Assim, por exemplo, se você definir o nível de significância para 70%, qualquer versão que atingir essa marca será a vencedora. Nesse caso, você também precisaria de um tamanho de amostra muito menor do que se fosse para 99% de significância.

Os otimizadores de todo o setor recomendam muitas maneiras de medir o desempenho de uma versão de teste, mas as que recomendamos são as seguintes:

1. O teste t para duas amostras: Também conhecido como teste t de amostras independentes, é um método usado para examinar se as médias de duas ou mais amostras desconhecidas são iguais ou não. Se a distribuição da amostra for desigual, você poderá usar uma estimativa diferente do desvio padrão para verificar os resultados.
2. B. O teste do qui-quadrado: O objetivo principal desse teste é examinar a significância estatística da relação observada entre duas variantes com relação ao resultado esperado. Em outras palavras, ele ajuda a analisar qual versão do seu teste tem mais probabilidade de atingir a significância estatística e tem mais chances de vencer.
3. Intervalo de confiança: Este método simplesmente mede o grau de certeza ou incerteza de uma variante para alcançar sua significância estatística observando os dados em mãos.
4. Sessões de medição: Essa é outra maneira de testar a significância estatística de uma variante. Em vez de medir o desempenho do seu teste contando os usuários, leve em conta as sessões. Isso significa que seu teste trata cada indivíduo como participante de um experimento apenas uma vez. 

5. Evite testes de nicho

Evite testar as seções ou os elementos do seu site que recebem poucos acessos. Em vez disso, segmente os elementos da página que recebem mais tração. Testes de CTA em todo o site, testes de landing page, e similares o ajudarão a aproveitar o tráfego de entrada do seu site. Esses testes também têm a probabilidade de mostrar resultados com significância estatística em um giro mais curto.

Quais são as vantagens e desvantagens do Multivariate Testing?

Casos em que o Multivariate Testing são valiosos

1. O MVT ajuda a medir a interação entre múltiplos elementos da página 

Vamos voltar à avaliação do desempenho do seu site de e-commerce de chocolate caseiro. Você tem certeza de que dois testes A/B sequenciais podem produzir os mesmos resultados que um MVT. Portanto, você decide executar primeiro um teste A/B para comparar uma imagem de banner estático com um banner de vídeo, e o último vence. Em seguida, na variante vencedora, ou seja, o banner de vídeo, você faz outro teste A/B entre dois CTAs possíveis, “Explorar Mais” e “Comprar Agora”, e o primeiro se mostrou melhor. Você não acha que poderia ter chegado à mesma conclusão com um teste MVT?

Ao contrário de um teste A/B, um teste multivariado lhe dá a vantagem de testar e medir como múltiplos elementos da página interagem entre si. Apenas testando uma combinação de diferentes elementos (digamos, a hero image da página do seu produto, uma CTA e um título), você pode não apenas descobrir qual variante tem melhor desempenho do que outras e ajuda a aumentar as conversões, mas também descobrir as melhores combinações possíveis dos elementos da página testados.

2. Fornece uma análise detalhada do comportamento do visitante

O MVT permite que você faça uma análise aprofundada do comportamento do visitante e de seus padrões de preferência. Ele lhe fornece estatísticas sobre o desempenho das variantes em relação aos seus efeitos de conversão. Isso ajuda a reorientar a conexão do visitante com seu site. Quanto melhor for a reorientação de acordo com a intenção do visitante, maiores serão as chances de altas conversões.

3. Esclarece sobre elementos de página mortos ou com menor contribuição.

Um teste multivariado não o ajuda apenas a encontrar a combinação certa de elementos de página que ajudarão a aumentar suas conversões. Ele também esclarece aqueles que estão contribuindo menos ou nada para as conversões do seu site e ocupando muito espaço na página. Esses elementos podem ser qualquer coisa, conteúdo textual, imagens, banners etc.

Realoque-os ou substitua-os por elementos que chamem a atenção de seus visitantes e canalizem algumas conversões também. É sempre melhor que os elementos de sua página contribuam de alguma forma para suas metas do que absolutamente nada.

4. Orienta você na estruturação da página

A importância de colocar os elementos no local certo pode ser entendida pelo fato de que os visitantes de hoje têm um curto giro de visão. Eles dedicam o máximo de tempo à leitura e à assimilação das informações mencionadas na primeira dobra de sua página. Portanto, se você não colocar o conteúdo relevante no topo, estará reduzindo as chances de obter conversões por uma grande margem. O MVT permite que você estude o posicionamento de diferentes elementos da página e os coloque no lugar certo para facilitar as conversões para a sua empresa e tornar mais fácil para os visitantes encontrarem o que vieram procurar em sua página.

5. Teste uma ampla gama de combinações

Ao contrário de um teste A/B comum, que lhe permite testar uma ou mais variantes de um elemento específico em singularidade, o MVT permite testar múltiplos elementos ao mesmo tempo aplicando o conceito de permutações e combinações. Esse método de experimentação não só aumenta as opções de teste que podem ser usadas para aumentar as conversões, mas também ajuda a economizar tempo, evitando a execução de testes A/B sequenciais.  

Casos em que o teste multivariado não é útil

O MVT é uma metodologia de teste altamente sofisticada. Um único teste MVT ajuda a responder a múltiplas perguntas de uma só vez. No entanto, o fato de ser uma técnica de teste complicada não significa que seja melhor do que outras técnicas ou que os dados gerados sejam mais úteis. Toda moeda tem dois lados. Listamos os prós de usar um teste multivariado na seção acima. É hora de conhecer também os contras.

1. Requer mais tráfego para mostrar resultados com significância estatística

Ao contrário de um teste A/B tradicional, o MVT exige um alto fluxo de tráfego. Isso significa que ele só funciona ou mostra resultados com significância estatística para sites que têm muito tráfego. Mesmo que você o execute em um site com pouco tráfego, terá de fazer concessões, como testar menos combinações, usar outros métodos para calcular um vencedor etc. Leia a seção acima sobre “Como executar um teste multivariado em sites de baixo tráfego” para maior clareza.

2. Eles são comparativamente difíceis de configurar

Uma coisa que faz as pessoas optarem por um teste A/B em vez de um MVT é que o primeiro é comparativamente muito simples de configurar. Afinal de contas, você só precisa alterar um ou dois elementos e adicionar variantes, mantendo o restante do design da página igual. Qualquer pessoa que tenha conhecimento de web design pode configurar facilmente um teste A/B, e mesmo os testes A/B complexos de hoje raramente exigem mais do que alguns minutos do tempo de um desenvolvedor. Ferramentas como o VWO permitem que até mesmo pessoas não técnicas configurem um teste A/B em questão de minutos.

Por outro lado, o MVT exige mais esforço, mesmo que você esteja criando um teste básico, e também é muito fácil que eles saiam dos trilhos. Um pequeno erro no design ou durante a criação das variantes pode prejudicar os resultados do teste. O MVT é uma boa opção para otimizadores que têm muita experiência na área de experimentação.

3. Há um custo de oportunidade oculto

O tempo é sempre essencial e uma commodity valiosa para qualquer negócio. Ao executar um teste em seu site, você está investindo tempo e brincando com sua taxa de conversão. Há um custo oculto que você coloca em jogo. Os testes multivariados são comparativamente complexos e lentos para configurar, além de serem mais lentos para executar. Todo o tempo perdido durante sua fase de configuração e curso de execução cria um custo de oportunidade.

Em meio ao tempo que o MVT leva para mostrar resultados significativos, você poderia ter executado dezenas de testes A/B e tirado conclusões. Os testes A/B são rápidos de configurar e também fornecem respostas definitivas para muitos problemas específicos.

4. As chances de fracasso são comparativamente altas

Não é preciso dizer que os testes permitem que você se mova rapidamente e quebre coisas para otimizar seu site e torná-lo mais amigável ao usuário. Você tem a vantagem de experimentar ideias malucas e até mesmo fracassar de forma espetacular sem enfrentar riscos ou consequências reais. Embora essa abordagem pareça eficaz no caso de um teste A/B, não podemos dizer o mesmo dos testes multivariados.

Embora cada teste A/B, apesar de seu sucesso ou fracasso, forneça uma série de pontos de aprendizado para consulta, o mesmo não acontece no caso de um teste multivariado. É comparativamente difícil extrair aprendizados significativos, pois você joga com muitos elementos combinados. Além disso, o MVT é tão lento e tedioso que não faz sentido correr esse risco em primeiro lugar e falhar no final.

5. O MVT é tendencioso em relação ao design

Outra desvantagem do MVT que a maioria dos otimizadores percebeu ao longo dos anos é que o método de teste geralmente fornece respostas para problemas relacionados ao design. Alguns dos maiores defensores ou apoiadores do MVT também são profissionais de UI e UX.

O design é obviamente importante, mas certamente não é tudo. Os elementos de UI e UX representam apenas uma pequena parte de todas as variáveis totais que você usa para melhorar o desempenho do seu site. Cópia, ofertas promocionais e até mesmo a funcionalidade do site são essenciais para garantir que seu site seja apreciado por seu público-alvo. Esses elementos são frequentemente subestimados e ignorados no caso do MVT, apesar do fato de que eles têm um enorme impacto na taxa de conversão do seu site. 

Machine learning e testes multivariados

O avanço no campo da tecnologia, especialmente da inteligência artificial, agora também é visível de forma proeminente na área de testes. Durante muitos anos, um programa chamado rede neural permitiu que os computadores aprendessem à medida que coletavam dados e tomavam as ações necessárias com mais precisão do que os humanos, usando menos dados e tempo. No entanto, as redes neurais só conseguiam ajudar os humanos a resolver alguns problemas específicos.

Observando os recursos dessas redes neurais, muitas empresas de software pensaram em usar seu potencial para desenvolver soluções que pudessem aprimorar todo o processo de testes multivariados. Essa solução é chamada de rede neural evolutiva ou rede neural genérica.

A abordagem usa os recursos de machine learning para selecionar quais elementos do site devem ser testados e cria todas as variantes possíveis por conta própria. Ela restringe a necessidade de testar todas as combinações e permite que os otimizadores testem somente aqueles que têm a capacidade de mostrar as conversões mais altas.

Os algoritmos por trás da solução eliminam as combinações de baixo desempenho para abrir caminho para que os vencedores mais prováveis participem do teste. Com o passar do tempo, a combinação de melhor desempenho emerge como vencedora e se torna o novo controle.

Quando isso acontece, esses algoritmos introduzem variáveis chamadas mutações no teste. As variantes que foram previamente eliminadas são reintroduzidas como novas combinações para analisar se alguma delas pode ser bem-sucedida em meio às combinações de melhor desempenho.

Essa abordagem provou mostrar resultados melhores e mais rápidos, mesmo com menos tráfego.

As redes neurais evolutivas permitem que as ferramentas de teste aprendam qual conjunto de combinações mostrará resultados positivos sem testar todas as combinações multivariadas possíveis. Com o machine learning, os sites que têm muito pouco tráfego para optar pelo MVT também podem considerar essa opção agora, sem fazer concessões.

Boas práticas a serem seguidas ao executar um teste multivariado

O MVT tem a capacidade de capacitar os otimizadores a descobrir conteúdos eficazes que ajudam a impulsionar os KPIs e a melhorar o desempenho de um site, mas somente quando eles seguem as boas práticas.

1. Criar uma agenda de aprendizagem

Antes de começar, tenha certeza de que o MVT é a melhor abordagem de teste para seus problemas identificados ou se um simples teste A/B atenderia melhor às suas necessidades. Nós, da VWO, acreditamos que é importante primeiro elaborar uma agenda de aprendizagem. Isso o ajudará a definir exatamente o que deseja testar e o que espera aprender com esse experimento.

A agenda funciona basicamente como um plano, ajudando-o a estabelecer uma hipótese, definir os elementos da página que deseja testar e para qual segmento de público-alvo, e priorizar os objetivos de aprendizagem de acordo. Ela também é útil quando você começa a configurar o teste e garante que todos os ajustes tenham sido feitos corretamente.

2. Evitar testar todas as combinações possíveis 

Para a maioria das pessoas, a execução de um teste multivariado significa testar tudo o que aparece em seu radar. Esse não deve ser o caso. Restrinja-se e teste somente as variáveis que você acredita que podem ter um alto impacto sobre sua taxa de conversão. Além disso, quanto maior for o número de elementos, quanto maior for o número de permutações, mais difícil será a execução e a avaliação dos resultados finais.

Digamos, por exemplo, que você queira testar o desempenho de seu anúncio gráfico. Você decide testar quatro imagens possíveis, duas cores de botão de CTA possíveis e três títulos possíveis. Isso totaliza 24 variantes de seu anúncio gráfico. Quando você testa todas as variantes de uma vez, cada uma recebe 1/24 do tráfego total de entrada.

Com uma divisão de tráfego tão alta, a chance de qualquer variante atingir sua significância estatística é bastante baixa. E, mesmo que uma ou algumas delas atinjam, o tempo que elas levam tornará o teste insignificante.

Além disso, não é necessário que todas as combinações façam sentido do ponto de vista do design. Por exemplo, uma imagem com fundo azul e cor azul do botão de CTA dificultará a identificação da CTA pelos visitantes, especialmente em uma tela de celular. Use o bom senso e selecione apenas as variantes que possam mostrar algum resultado. 

3. Gerar ideias a partir dos dados para aumentar a variedade e a relevância dos experimentos

Embora seja uma ótima prática limitar-se a testar todas as ideias possíveis que surgirem em sua cabeça, também é importante não ignorar as possibilidades que podem afetar sua taxa de conversão. Para saber se vale a pena experimentar uma variante, gere ideias a partir de diferentes fontes de dados. Elas podem incluir:

• Dados em primeira mão coletados com base no comportamento do visitante, nos dados demográficos do segmento e nos interesses.
• Dados de terceiros extraídos de múltiplos provedores de dados para obter informações adicionais sobre o visitante, como comportamento de compra, dados transacionais ou dados específicos do setor.
• Dados históricos de desempenho extraídos de campanhas executadas anteriormente com segmentação de tráfego semelhante.

4. Começar a eliminar os produtos de baixo desempenho quando o teste atingir o tamanho mínimo da amostra

Não é necessário encerrar seu teste multivariado no momento em que ele atingir o tamanho adequado da amostra. Em vez disso, você deve começar a eliminar as variantes de baixo desempenho. Encerre as variantes que tenham movimento insignificante em comparação com o controle assim que atingirem o tamanho de amostra representativo necessário. Isso significa que mais tráfego fluirá para as variantes com bom desempenho, o que lhe permitirá otimizar o teste para obter resultados de maior qualidade e mais rapidamente.

5. Usar combinações de alto desempenho para testes adicionais

Depois de descobrir algumas variantes potenciais, reestruture seu teste e ajuste os elementos variáveis. Se um determinado título em uma página de produto tiver um desempenho superior ao de outros, crie um novo conjunto de variantes em torno desse título.

Você pode até optar por executar um teste A/B/n discreto com grupos experimentais limitados para analisar o desempenho das novas variantes em um tempo mais curto. A maioria dos otimizadores de experiência sugere que, ao aprender algo com um experimento, use o conhecimento para melhorar o desempenho de outros elementos da página. Os testes não se referem apenas ao aumento do faturamento, mas à compreensão do comportamento do visitante e ao atendimento de suas necessidades.

Melhores ferramentas de testes multivariados

O mercado atual está repleto de ferramentas de teste A/B. Nem todas têm os recursos necessários para ajudá-lo a executar experimentos bem-sucedidos sem problemas. Você também não pode correr o risco de desenvolver um conjunto de experimentos internos. Aqui está uma lista das 5 principais ferramentas de teste multivariado para otimizadores de experiência que têm paixão por testes:

1. VWO

O VWO é uma ferramenta de experimentação tudo em um, baseada em nuvem, que ajuda os otimizadores a executar múltiplos testes em seus sites e otimizá-los para garantir melhores conversões. Além de ser uma plataforma de experimentação fácil de usar, a ferramenta permite realizar pesquisas qualitativas e quantitativas, criar variantes de testes e até mesmo analisar o desempenho de seus testes por meio de seu painel robusto.

O VWO também oferece o recurso SmartStats que funciona com estatísticas bayesianas. Ele oferece mais controle sobre seus testes e ajuda a obter conclusões mais rapidamente. Inscreva-se hoje para um teste grátis e adquira o hábito da experimentação.

2. Optimizely 

A plataforma Optimizely oferece um conjunto abrangente de ferramentas de CRO e, em geral, atende apenas a clientes de nível empresarial.

Essencialmente, a Optimizely fornece principalmente serviços de experimentação e personalização do site. No entanto, é possível usar seus recursos para executar experimentos em aplicativos de celular e plataformas de mensagens também. Você pode até optar por executar múltiplos testes na mesma página e ter a certeza de resultados precisos.

3. A/B Tasty

O A/B Tasty é outra plataforma de experimentação que oferece uma gama holística de recursos de teste. Além da opção usual de testes A/B e de divisão de URL, ela também permite que você execute testes multivariados. Ela tem uma plataforma integrada que é fácil de usar e oferece uma visualização em tempo real de seus testes e seus respectivos níveis de confiança.

4. Oracle Maxymiser

Uma ferramenta avançada de personalização e testes A/B, o Oracle Maxymiser permite projetar e executar experimentos sofisticados. A plataforma oferece muitos recursos poderosos, como testes funcionais, otimização de funil, segmentação e segmentação avançadas e análise preditiva. Esses recursos fazem dela uma combinação perfeita para otimizadores orientados por dados com uma equipe interna de suporte de TI.

5. Google Optimize 360

O Google Optimize 360 é um produto do Google que oferece uma ampla gama de serviços além da experimentação. Alguns deles incluem integração nativa com o Google Analytics, segmentação por URL e segmentação geográfica. Se você optar pela versão premium do Google Optimize 360, poderá explorar a ferramenta em profundidade. Com o Google Optimize 360, você pode:

• testar até 36 combinações ao executar o MVT
• executar mais de 100 testes simultaneamente
• fazer mais de 100 personalizações por vez
• obter acesso à administração do Google Analytics 360 Suite

Conclusão

O teste multivariado é um braço do teste A/B que usa a mesma mecânica de experimentação, mas compara mais de uma variável em um site em um ambiente ao vivo. Ele se opõe à noção científica tradicional e permite que você, de certa forma, execute múltiplos testes A/B/n na mesma página simultaneamente. No fundo, é um processo altamente complexo que exige mais tempo e esforço, mas fornece informações abrangentes sobre como os diferentes elementos da página interagem entre si e quais combinações funcionam melhor em seu site.

Se ainda tiver dúvidas sobre o que é teste multivariado ou como ele pode beneficiar seu site, solicite uma demonstração hoje mesmo! Ou, adquira o hábito da experimentação e comece a fazer testes A/B hoje mesmo! Registre-se para o teste grátis do VWO.