• +1 415-349-3207
  • Fale conosco
    • Login da VWO
    • Login do VWO Engage
    • EN
    • DE
    • ES
  • ENDEESBR
  • Logout
VWO Logo
    • Personalization
    • Web Rollouts
    • Customer Data Platform
    • Program Management
    Testing

    Crie experiências bem-sucedidas na Web, em aplicativos móveis e no lado do servidor

    VWO Copilot

    Acelere a experimentação com o poder da IA

    • Web Testing

      Teste e crie experiências na Web que promovem conversões

    • Mobile App Testing

      Garanta a satisfação dos usuários de aplicativos móveis com experiências otimizadas

    • Feature Management

      Teste funcionalidades complexas em qualquer lugar

    Funcionalidades (+125 a mais)

    • Testes A/B
    • Testes multivariados
    • Integrações
    • Hipótese
    • SmartStats aprimorado
    • (+125 a mais)
    Testing Overview Illustration Testing Web Illustration Testing Mobile Illustration Testing Serverside Illustration
    Behavior Analytics

    Use insights sobre o comportamento do visitante para impulsionar o crescimento e as conversões

    VWO Copilot

    Supercharge your optimization velocity with AI

    • Web Insights

      Obtenha insights detalhados sobre o comportamento do visitante em todo o seu site

    • Mobile App Insights

      Analise o comportamento do usuário para melhorar as experiências no aplicativo

    Funcionalidades (+120 a mais)

    • Gravações de sessão
    • Mapas de calor
    • Análise de funil
    • Pesquisas
    • Análise de formulários
    • Observações
    • (+120 a mais)
    Insights Overview Illustration Insights Web Illustration Insights Mobile Illustration
    • Plataforma completa
  • Preços
  • Por que VWO?
  • Fale conosco
    • VWO Login
    • VWO Engage Login
  • Solicitar Demonstração +1 415-349-3207
  • Languages
    • EN
    • DE
    • ES
  • ENDEESBR
Preços
Dashboard
Solicitar Demonstração
  • A
  • B
  • C
  • D
  • E
  • F
  • G
  • H
  • I
  • J
  • K
  • L
  • M
  • N
  • O
  • P
  • Q
  • R
  • S
  • T
  • U
  • V
  • W
  • X
  • Y
  • Z
Voltar ao glossário

Significância estatística

As empresas digitais começaram a adotar a cultura da experimentação para tomar decisões orientadas por dados e melhorar seus KPIs. No entanto, antes de iniciar a experimentação e testar novas ideias, é importante entender o conceito de resultado com significância estatística. Ao testar uma hipótese, o resultado é declarado estatisticamente significativo se for possível descartar a chance de que ele tenha acontecido por acaso e atribuí-lo a um efeito realmente existente. Quando o resultado é significativo, você tem a confiança de que o efeito é real e que não houve sorte (ou azar) na escolha da amostra. No entanto, ao aceitar ou reprovar uma hipótese, não é possível ter 100% de certeza sobre o resultado. Ainda assim, você pode ter algum nível de confiança ou de significância para saber se está no caminho certo. 

Em uma estrutura estatística, um resultado é declarado estatisticamente significativo se o valor-p (probabilidade de não observar nenhum efeito) do teste estiver abaixo do limite do nível de significância escolhido. Na prática, um nível de significância ɑ (normalmente 0,05 ou 5%) é previamente definido como um padrão sugerido pelo setor. Com a significância estatística, é possível ter algum grau de confiança de que o efeito observado é real, não devido ao acaso.

Como a significância estatística é usada nos testes

Um teste A/B ou multivariável envolve uma comparação controlada do desempenho de variações de uma determinada métrica, como taxa de conversão, receita média, entre outras. Antes de tomar qualquer decisão crítica para os negócios, como implementar a variação que apresentar a melhor métrica, é preciso garantir que os resultados tenham significância estatística.

Em estatística, existem dois domínios, conhecidos como frequentista e bayesiano, que oferecem abordagens distintas para testar hipóteses. O método frequentista pressupõe que uma métrica tem um único valor, enquanto o método bayesiano a descreve como uma distribuição de valores possíveis com um certo grau de crença associado a eles.

Na abordagem frequentista, ao testar a hipótese nula (nenhum efeito presente entre as variações), a probabilidade de obter um resultado pelo menos tão extremo quanto o observado é estimada. Essa estatística é chamada de valor-p no domínio frequentista e fornece a medida de evidência contra a hipótese nula. Quanto menor for o valor, mais forte será a evidência contra a hipótese nula. Depois de coletar o tamanho de amostra necessário para o experimento, se valor-p ficar abaixo do nível de significância definido, o resultado observado será declarado estatisticamente significativo.

Como a VWO calcula a significância estatística

A VWO é uma das principais plataformas de experimentos em conformidade com a abordagem bayesiana. As duas estatísticas que a VWO calcula para cada variação em um teste são probabilidade de ser a melhor (PBB) e perda potencial (PL).

  • A PBB representa as chances de uma variação superar todas as outras. O limite do nível de significância para a PBB é 95% (1-ɑ). 
  • A PL representa a perda média que provavelmente ocorrerá na implementação da variação se ela tiver um desempenho pior em relação às outras. O nível de significância da decisão em PL é chamado de limite de cuidado (TOC). O TOC é um valor crítico, pois representa a perda que a empresa pode suportar se a variação recomendada tiver um desempenho inferior ao esperado após sua implementação. Ele é estimado a partir deste cálculo: valor métrico para a linha de base * modo de certeza * 10%.

Quando a PBB e a PL ultrapassam seus respectivos níveis de significância, a VWO recomenda a variação como a melhor opção para a sua empresa e declara o resultado estatisticamente significativo. O uso da métrica PL com PBB garante que, mesmo que um teste tenha declarado um resultado falso positivo, o impacto geral do erro será tolerável para a empresa. Experimente a calculadora de significância estatística gratuita da VWO ou solicite uma demonstração com nossos especialistas em produtos para entender em detalhes como funcionam os relatórios da VWO.

Armadilhas da significância estatística

Depois de observar dados suficientes, é importante garantir a significância estatística antes de extrair qualquer insight dos dados, a fim de manter os erros de tipo 1 e tipo 2 sob controle. No entanto, se houver problemas na forma como o experimento foi realizado e as suposições do teste forem violadas, a verificação da significância estatística não será uma metodologia robusta, podendo resultar em um aumento da taxa de erro. Alguns problemas que podem ocorrer durante a realização de um experimento, bem como na obtenção de insights a partir de dados de amostra insuficientes, são:

  1. Imprecisão na coleta de dados
    • A significância estatística não leva em conta a robustez do processo de coleta de dados e pode acabar fornecendo insights que não fazem sentido.
  2. Problemas com a randomização
    • Se a randomização da população não for aleatória, mas tendenciosa para um experimento, efeitos inexistentes poderão ser indicados como significativos.
  3. Erros de cobertura
    • A marcação incorreta do visitante pode resultar em múltiplos pontos de dados duplicados de um único usuário. Isso causa a distorção dos dados coletados e pode fazer com que os efeitos pareçam ser mais ou menos pronunciados do que realmente são.

Esses erros podem influenciar consideravelmente os insights obtidos a partir de um resultado com significância estatística. É preciso monitorar os erros de amostragem e não amostragem antes de tomar uma decisão crítica. A significância estatística por si só não é um critério robusto para definir a tomada de decisões, devendo ser complementada com correções dos erros de não amostragem.

Algumas preocupações das empresas em relação à significância estatística

Algumas preocupações surgem quando as empresas analisam a significância estatística, o que inclui saber como:

  • escolher o nível de significância (ɑ)
  • escolher a abordagem estatística apropriada
  • contextualizar a significância estatística nos negócios

Muitos trabalhos acadêmicos especificam ɑ de 0,05 para o nível de significância. No entanto, não há nenhuma justificativa matemática robusta para escolher esse valor. A única explicação apresentada por seus criadores é que, em muitas aplicações, estar errado em uma a cada 20 vezes é considerado aceitável. Em situações em que é preciso ser mais cauteloso com os erros, é possível diminuir ainda mais o valor de ɑ com a compensação de executar o experimento por um período mais longo.

A segunda preocupação é selecionar um método de análise estatística adequado. Mesmo depois de escolher entre as abordagens bayesiana e frequentista, haverá várias formas para testar uma hipótese. A estrutura do teste estatístico é definida a partir do tipo de dados, do número de pontos de dados e da pergunta que está sendo feita. Um método de análise estatística pode ajudar a determinar como coletar os dados e qual é o tamanho necessário da amostra. Portanto, uma metodologia de teste estatístico deve ser identificada durante o próprio projeto do experimento. Se um método estatístico errado for usado em um experimento, ele poderá produzir resultados sem sentido.

A terceira preocupação é entender como usar os resultados do teste para tomar uma decisão. Nesses experimentos, a significância estatística determina se há alguma diferença matemática (não importa o quão pequena ela seja) no desempenho das variações. Até mesmo uma diferença de 0,00001% tem significância estatística em um teste, mas pode ser praticamente insignificante para o seu negócio. Ainda assim, mesmo que o teste indique que não há diferença significativa, ela ainda poderá ter alguma utilidade para a sua empresa. Portanto, o ideal é identificar primeiro o que é estrategicamente importante para sua organização e usar o resultado do teste estatístico para tomar uma decisão. 

Share
Mais recursos
Webinar

Fireside Chat: Evolution of Statistics and Experimentation with VWO’s Lead Data Scientist

Blog

Learn How Experts Derive Insights from A/B Test Results

Explorar mais termos do glossário

Taxa de churn

Taxa de churn é a porcentagem de clientes que cancelam a assinatura de um serviço e interrompem qualquer engajamento com uma empresa por algum tempo.

Ler mais

Taxa de cliques (CTR)

A taxa de cliques (CTR) é uma métrica de marketing digital usada para medir o desempenho de um anúncio. Ela indica o número de cliques recebidos na campanha em relação ao número de visualizações (impressões).

Ler mais

Taxa de rejeição

Uma “rejeição” ocorre quando o usuário sai do site sem interagir ou realizar nenhuma ação nele. A taxa de rejeição é a porcentagem de visitantes que abandonam o site sem realizar uma ação.

Ler mais

Teste A/A

O teste A/A é um teste estatístico que compara duas experiências idênticas entre um conjunto aleatório de usuários. Embora o tráfego seja distribuído igualmente entre as duas variações, o objetivo do teste A/A é validar uma testagem estatística que não retorna nenhuma diferença nas taxas de conversão entre as duas experiências.

Ler mais
VWO Logo

Inscreva-se para um teste completo

Grátis por 30 dias. Não é necessário cartão de crédito

Invalid Email

Crie sua senha para começar

Invalid Email
Nome inválido
Sobrenome inválido
Telefone inválido
Password
VWO Logo
VWO is setting up your account
We've sent a message to yourmail@domain.com with instructions to verify your account.
Can't find the mail?
Check your spam, junk or secondary inboxes.
Still can't find it? Let us know at support@vwo.com

Vamos conversar

Fale com um representante comercial

Global
+1 415-349-3207
Também pode escrever um e-mail para support@vwo.com

Get in touch

Nome inválido
Sobrenome inválido
Invalid Email
Telefone inválido
Invalid select enquiry
Invalid message
Thank you for writing to us!

One of our representatives will get in touch with you shortly.

Awesome! Your meeting is confirmed for at

Obrigado por partilhar os seus dados, .

Olá 👋 Vamos agendar a sua demonstração

Para começar, conte-nos um pouco sobre você

Nome inválido
Sobrenome inválido
Invalid Email
Telefone inválido

Embora apresentemos uma demonstração que abrange a plataforma VWO completa, partilhe alguns dados para personalizarmos a demonstração para si.

Select the capabilities that you would like us to emphasise on during the demo.

Qual destas opções melhor descreve a sua experiência?

Partilhe os casos de utilização, objetivos ou necessidades que está a tentar resolver.

Please provide your website URL or links to your application.

Iremos preparados com um ambiente de demonstração para este site específico.

Invalid URL
Invalid URL
, you're all set to experience the VWO demo.

I can't wait to meet you on at

Account Executive

, obrigado por compartilhar os detalhes. Seu representante dedicado da VWO entrará em contato em breve para marcar um horário para essa demonstração.

Estamos satisfeitos e felizes por termos escolhido a VWO. Estamos obtendo o ROI de nossos experimentos.

Christoffer Kjellberg CRO Manager

VWO has been so helpful in our optimization efforts. Testing opportunities are endless and it has allowed us to easily identify, set up, and run multiple tests at a time.

Elizabeth Levitan Especialista em otimização digital

Como gestor de projetos do nosso processo de experimentação, adoro a forma como a funcionalidade da VWO nos permite alavancar e avançar rapidamente, mas também nos dá a flexibilidade de sermos mais complexos nos nossos testes.

Tara Rowe Gestor de tecnologia de marketing

Não necessita de possuir conhecimentos em desenvolvimento de sites para fazer a VWO trabalhar para si. A equipa de assistência da VWO é incrível

Elizabeth Romanski Gestor de marketing e análise de consumidores
Com a confiança de milhares de marcas líderes
Ubisoft Logo
eBay Logo
Payscale Logo
Super Retail Group Logo
Target Logo
Virgin Holidays Logo

Awesome! Your meeting is confirmed for at

Obrigado por partilhar os seus dados, .

PRODUTOS

  • VWO Testing
  • VWO Insights
  • VWO Data360
  • VWO Personalize
  • VWO Plan
  • VWO Web Rollouts

Quem somos

  • Nossa empresa
  • Fale conosco
vwo gdpr ready badge
VWO CCPA ready badge
SOC 2 Type II Badge
VWO ISO IEC 27001 Certification Badge
VWO ISO 27701 Certification Badge

Follow us and stay on top of everything CRO

© 2025 Copyright Wingify. All rights reserved
|
Terms | Security | Compliance | Code of Conduct | Privacy | Imprint | Opt-out
Wingify Logo