DE
Calculadora de significância estatística para testes A/B [planilha grátis]
As estatísticas apresentadas nos resultados dos testes A/B podem ser um tanto quanto confusas, a menos que você conheça as fórmulas por trás delas. Publicamos um artigo sobre a matemática dos testes A/B e disponibilizamos uma calculadora de significância estatística para testes A/B no nosso site, para que você verifique se os seus resultados são significativos ou não.
A ferramenta conta com uma interface que permite calcular a significância estatística do seu teste A/B, mas não informa as fórmulas usadas no cálculo. Já o artigo apresenta uma introdução às estatísticas dos testes A/B, abordando os conceitos matemáticos por trás do split testing A/B e a importância da significância estatística.
Download grátis: Guia de teste A/B
A solução da VWO para testes A/B ajudou a empresa varejista Greene a aumentar suas receitas em quase 60%. Mas é preciso estar ciente de que os testes A/B podem ser complexos de executar e interpretar. Por isso, a menos que você acredite na previsão dos resultados de testes A/B usando a astrologia indiana, leia este artigo para entender a matemática por trás do cálculo da significância estatística em seus testes.
Significância estatística: o que, por que e como
Antes de conhecermos as fórmulas complexas da significância estatística, vamos entender o que é esse conceito, por que ele é importante e como garantir que seus testes sejam concluídos de forma significativa.
O que é significância estatística?
Significância estatística nada mais é do que a probabilidade de que a discrepância entre as taxas de conversão de uma variação e a versão controle não ocorre por acaso, mas devido a um processo bem planejado e baseado em dados. Nesse processo, você coleta insights dos usuários sobre a maneira como eles interagem com o seu site e, em seguida, usa esses dados para formular uma hipótese de teste científico.
O nível de significância também reflete o seu nível de confiança e tolerância ao risco.
Por exemplo, se você realizar um teste A/B com 80% de significância para determinar a versão vencedora, terá 80% de confiança de que os resultados alcançados não foram fruto da aleatoriedade. Por outro lado, a taxa de 80% de significância também indica que existe 20% de chance de você estar enganado
Por que a significância estatística é importante?
Para que um teste A/B seja bem-sucedido, seus resultados devem ser estatisticamente significativos. Não é possível afirmar como os futuros visitantes irão reagir ao seu site. Tudo que você pode fazer é observar alguns visitantes atuais, registrar seu comportamento, analisá-lo estatisticamente e, com base nas descobertas, fazer alterações para otimizar a experiência dos próximos usuários. O teste A/B ajuda a combater a incerteza e melhorar a experiência do usuário no seu site, desde que cada etapa seja planejada considerando cada uma das variáveis, como tráfego do site, tráfego da amostra, duração do teste, entre outros fatores. Um bom exemplo é a empresa alemã Dachfenster-rollo.de, que aumentou sua taxa de conversão em 33% ao usar testes A/B para melhorar a experiência de seus usuários.
A busca da sua equipe de marketing por previsões exatas sobre os futuros visitantes e a inerente incerteza dessas previsões fazem com que a significância estatística seja necessária. Ela também é importante por atuar como uma fonte de confiança e assegurar que as mudanças que você realiza tenham um impacto positivo sobre os seus objetivos de negócios.
Como garantir a significância estatística de um teste?
A significância estatística depende de duas variáveis:
- O número de visitantes, que é o tamanho da amostra.
- O número de conversões da versão de controle e da variação.
Para garantir que o seu teste A/B seja concluído com significância estatística, planeje-o levando em consideração essas duas variáveis. Use a nossa calculadora gratuita de significância estatística para testes A/B para descobrir o nível de significância do seu teste.
Download grátis: Guia de teste A/B
Como calcular a significância estatística em uma planilha do Excel com fórmulas de testes A/B?
Desenvolvemos uma planilha GRATUITA que detalha como calcular a significância estatística no Excel. Você só precisa informar o número de visitantes e as conversões da versão de controle e da variação. A ferramenta exibirá automaticamente a significância, o valor-p, o valor-z e outras métricas importantes para qualquer tipo de split testing A/B (incluindo para Google Ads). Além disso, para complementar o nosso artigo sobre a matemática dos testes A/B e a nossa calculadora gratuita de significância estatística para testes A/B, também compartilhamos a fórmula de significância para testes A/B no Excel que permite calcular a significância dos resultados de um teste.
Fique à vontade para compartilhar o arquivo com seus amigos e colegas ou publicá-lo no seu próprio blog e redes sociais.
Obs.: se quiser fazer cálculos rápidos, também disponibilizamos uma versão da calculadora de significância para testes A/B no Planilhas Google.
(Você precisará criar uma cópia da planilha usando a sua conta do Google para fazer alterações no arquivo).
Na VWO, acreditamos que entender os números por trás do teste A/B não precisa ser uma dor de cabeça. Uma ferramenta é capaz de cuidar disso. Se quiser experimentar a VWO SmartStats, que disponibiliza relatórios inteligentes e intuitivos sobre os seus testes A/B, aproveite um teste grátis guiado.
Perguntas frequentes
O valor-p ou valor de probabilidade é uma medida estatística que ajuda a determinar a validade de uma hipótese com base nos dados observados. Em geral, um valor-p de 0,05 ou inferior costuma ser aceito como estatisticamente significativo, indicando uma forte evidência contra a hipótese nula. Quando o valor-p é igual ou menor que 0,05, ele sinaliza que existem evidências robustas contra a hipótese nula e oferece suporte a uma hipótese alternativa.
A p-value of 0.05 indicates a commonly accepted threshold for statistical significance in an excel. This signifies that there is a 5% chance that the observed result is due to random chance and the null hypothesis is true. If the p-value is less than or equal to 0.05, it serves as an evidence against the null hypothesis and supports the alternative hypothesis. For instance, you have two data sets, A and B, and you determine the statistical difference between their means. By calculating statistical significance in an excel, you get a p-value of 0.03. With this result, you can conclude that the data gives you strong evidence to reject the null hypothesis and the significant difference between data set A and B.
Um valor-p de 0,05 indica um limite comumente aceito para a significância estatística em uma planilha no Excel. Ele sinaliza uma chance de 5% de que o resultado observado seja decorrente do acaso e que a hipótese nula seja verdadeira. Se o valor-p for igual ou menor que 0,05, ele serve como evidência contra a hipótese nula e oferece suporte a uma hipótese alternativa. Por exemplo, digamos que você possui os grupos de dados A e B e determina a diferença estatística entre suas médias. Ao calcular a significância estatística no Excel, você descobre que o valor-p é 0,03.
A partir desse resultado, é possível concluir que os dados apresentam uma forte evidência para rejeitar a hipótese nula e a diferença significativa entre os grupos de dados A e B
Embora você possa usar a fórmula de significância de testes A/B no Excel, sugerimos que experimente a nossa calculadora de significância estatística para testes A/B. Usando essa ferramenta gratuita, você obtém cálculos precisos de um jeito rápido para descobrir a significância estatística. Assim, poderá dedicar o tempo economizado a outras atividades críticas, como formulação da hipótese, análise dos resultados do teste e realização de pesquisas sobre o comportamento dos usuários. Afinal, por que esquentar a cabeça se você pode contar com a ferramenta certa para fazer o trabalho?
Categories:
