Calculadora de significância de teste A/B — Ferramenta Grátis
Verifique se o vencedor do seu teste A/B é real. Informe impressões e conversões das duas variantes para ver cada taxa de conversão, o ganho relativo, o valor p e um veredito em linguagem simples.
Variante A (controle)
Variante B (desafiante)
Recursos
- Taxa de conversão de cada variante, lado a lado
- Ganho relativo — quanto a desafiante supera o controle
- Valor p bicaudal a partir de um teste z de duas proporções
- Recusa apontar vencedor abaixo de 100 impressões ou 5 conversões por variante
- Roda inteiramente no seu navegador — nada é enviado
Perguntas frequentes
O que a significância estatística realmente diz?
Uma coisa bem específica: qual a probabilidade de uma diferença desse tamanho se as duas variantes tivessem o mesmo desempenho. Um valor p abaixo de 0,05 significa que essa diferença seria incomum apenas por acaso. Ela NÃO diz que a diferença é grande o bastante comercialmente, que vai se manter no mês que vem, que a variante B foi a causa, nem que você pode encerrar o teste — essas continuam sendo decisões suas.
Por que às vezes aparece «dados insuficientes» em vez de um veredito?
Porque um valor p calculado a partir de um punhado de eventos é ruído fantasiado de resultado. Se alguma variante tem menos de 100 impressões ou menos de 5 conversões, o teste tem pouco poder para informar qualquer coisa, então a calculadora diz isso em vez de imprimir um número em que alguém iria agir.
Qual teste é usado?
Um teste z bicaudal de duas proporções sobre a proporção combinada — o padrão para comparar duas taxas de conversão. O valor p vem de uma aproximação normal, precisa nos tamanhos de amostra em que a ferramenta permite um veredito.
95% de confiança é o limiar certo?
É a convenção, não uma lei. 95% significa aceitar cerca de 1 chance em 20 de declarar um vencedor que não é. Se a mudança é barata e reversível, você pode agir com evidência mais fraca; se é cara, espere mais dados ou use um limiar mais rígido.
Meus dados são enviados para algum lugar?
Não. Todos os cálculos acontecem no seu navegador. Nada é enviado, armazenado ou registrado, e não é preciso conta.
