Calculadora gratuita de significância de teste A/B

Significância estatística mede o quanto você pode confiar que a diferença entre duas variações é real e não apenas oscilação aleatória. A regra mais comum é declarar uma vencedora quando a confiança chega a 95% ou mais, ou seja, quando há menos de 5% de chance de o resultado ter vindo da sorte.

O valor-p é a probabilidade de observar o seu resultado (ou algo ainda mais extremo) se, na prática, não houvesse diferença nenhuma entre as variações. Quanto menor o valor-p, mais forte a evidência de que a diferença é real. Um valor-p de 0,05 equivale a 95% de confiança.

A maioria dos profissionais de marketing usa 95% de confiança, o que significa aceitar 5% de chance de falso positivo. Use 99% quando a decisão for de alto risco (por exemplo, aplicar uma mudança a todo o tráfego pago) e 90% apenas em experimentos iniciais de baixo risco.

Depende da sua taxa de conversão de base e do tamanho do ganho que você quer detectar. Como regra geral, ganhos pequenos (abaixo de 5%) exigem dezenas de milhares de visitantes por variação, enquanto ganhos maiores (20% ou mais) se confirmam com alguns milhares. A calculadora estima quantos visitantes a mais cada variação precisa para confirmar a diferença que você está vendo, com 80% de poder estatístico.

O ganho é a diferença percentual relativa entre as taxas de conversão das duas variações. Se a variação A converte a 3% e a B a 4,5%, o ganho de B sobre A é de 50%. É o ganho que você realmente usa para decidir se vale a pena colocar uma mudança no ar.

Uma taxa de conversão mais alta sozinha não basta. É preciso volume de dados suficiente para que a diferença dificilmente venha do acaso. Quanto menor o ganho, mais visitantes são necessários. Se você para um teste cedo demais, corre o risco de subir uma mudança que era só ruído.

Peeking é ficar checando os resultados o tempo todo e parar no instante em que a confiança cruza 95%. Fazer isso aumenta muito a sua taxa de falsos positivos. Para evitar, defina antes o tamanho de amostra necessário e confira o resultado uma única vez, no final.

Sim. Significância é uma estatística universal, então a calculadora funciona para qualquer teste A/B em que você consiga medir visitantes (ou impressões, cliques, envios) e conversões. Coloque números do Meta Ads, Google Ads, TikTok Ads, plataformas de e-mail ou das métricas da sua landing page.

Sim. A calculadora de significância de teste A/B é 100% gratuita, sem cadastro, sem limites e sem pedir e-mail. Rode quantos testes precisar, para uso pessoal ou comercial.

Não. Todos os cálculos acontecem inteiramente no seu navegador. Os números de visitantes e conversões nunca saem do seu dispositivo e nunca são enviados aos nossos servidores.