O que é um teste A/B? — Ferramenta gratuita
Um teste A/B coloca duas versões que diferem em um único elemento uma contra a outra e compara os resultados. Por que essa variável única é toda a disciplina, quantos resultados são necessários para uma vencedora significar algo, e os erros que produzem conclusões seguras e erradas.
Rodar duas versões de um post ou anúncio que diferem em exatamente um elemento — título, imagem, chamada para ação — e comparar os resultados. Mudar mais de uma variável torna impossível explicar o vencedor.
O que é
Um teste A/B, ou teste dividido, coloca duas versões da mesma publicação ou do mesmo anúncio uma contra a outra e compara o que acontece. A versão A costuma ser o que você publicaria de qualquer forma; a versão B muda exatamente uma coisa. O objetivo não é achar uma publicação melhor, é saber qual elemento moveu o número, para que a lição sobreviva a esta publicação específica.
Como é medido
A métrica é escolhida antes, não depois: taxa de cliques para uma publicação com link, taxa de conversão para um anúncio, visualização completa para vídeo. Depois são necessários resultados suficientes para que a diferença signifique algo. Um cálculo de significância é o que separa uma diferença real do ruído, e quanto menor a distância entre as versões, mais resultados são necessários para enxergá-la.
Mal-entendido comum
O erro mais comum não é mudar duas variáveis, é parar cedo demais. No começo de um teste as duas versões se ultrapassam o tempo todo, então se você fica olhando e para assim que uma fica na frente, vai achar uma vencedora quase sempre, inclusive quando as versões são idênticas. O segundo erro é testar algo pequeno demais: trocar um emoji não vai superar o ruído com nenhuma amostra que você consiga reunir, então o teste custa uma semana e não devolve nada. Teste a oferta, o gancho ou o formato antes de testar a pontuação.
Quando importa
Importa mais onde você está gastando dinheiro, porque é ali que uma diferença de dois pontos se acumula. No orgânico o uso honesto é mais estreito: você não consegue manter público e horário constantes, então trate comparações orgânicas como fonte de hipóteses que um teste pago consegue de fato resolver.
Termos relacionados
Recursos
- Definição clara, com a regra de uma variável explicada
- Por que uma diferença nos números não é o mesmo que uma diferença entre as versões
- Quanto tempo deixar um teste rodar, e por que parar na primeira vantagem é o erro clássico
- O que o orgânico consegue e não consegue testar com honestidade, comparado ao pago
- Links para a calculadora de significância, para conferir um resultado em vez de estimar no olho
Perguntas frequentes
Quantas variáveis posso mudar de uma vez?
Uma. Não é preferência de estilo, é o que torna o resultado explicável: se a versão vencedora tem título novo e imagem nova, o teste diz que a dupla venceu e nada sobre qual das metades fez o trabalho.
Quanto tempo um teste deve durar?
O suficiente para reunir uma amostra que não vire com um punhado de resultados, e pelo menos um ciclo completo do seu padrão semanal normal. Um teste de terça a quinta mede de terça a quinta, não o seu público.
Quando posso declarar uma vencedora?
Quando a diferença for maior que o ruído, que é o que um cálculo de significância informa. Parar assim que uma versão se adianta é a forma mais comum de obter uma resposta segura e errada, porque vantagens iniciais se invertem o tempo todo.
Dá para fazer teste A/B com publicações orgânicas?
Só de forma aproximada. Você não consegue mostrar duas versões ao mesmo público nas mesmas condições, então uma comparação orgânica carrega junto o horário, o dia da semana e o algoritmo. Trate como pista e guarde os testes de verdade para o pago.
E se não houver diferença?
Isso é um resultado, e útil. Significa que o elemento que você mudou não é o que limita a publicação, então o teste seguinte deveria ir para outra coisa e não para uma variação menor da mesma.
