Teste A/B em campanha pequena: quando o número significa algo

Por que o teste A/B quase nunca conclui nada em PME

A campanha roda duas semanas. Variante A teve 11 conversões, a B teve 14. A reunião decide pela B.

Não foi decisão, foi arredondamento. Com esses números, a chance de a A ser melhor e ter parecido pior por acaso é alta o bastante para a escolha ser sorte. E o pior: a equipe passa a acreditar numa conclusão que não existe e a repete nas próximas campanhas.

O problema não é testar com pouco orçamento. É testar coisas pequenas com pouco orçamento.

O que muda o resultado com pouco dado

Diferenças pequenas exigem muito dado para aparecer. Diferenças grandes aparecem com pouco. Então, com orçamento apertado, teste o que é grande:

Como o experimento é montado

No Mineer uma variante não é só um criativo diferente. Cada uma combina público, criativo, copy e um utm_content próprio — então o que chega no rastreio já vem separado por variante, sem ninguém cruzar planilha depois.

A métrica é persistida por dia, e um listener liga a conversão à origem. Isso importa por um motivo específico: campanha que roda três semanas e só é olhada no fim perde a informação de quando a mudança aconteceu.

Campanhas e experimentos: as variantes, o que cada uma combina e a métrica diária de cada uma.

Como rodar um teste que ensina

1. Escreva a hipótese antes. "Acredito que falar de custo converte mais que falar de tempo, porque o comprador é o dono." Sem isso, qualquer resultado confirma alguma coisa.
2. Duas variantes, bem diferentes. Quatro só com volume para isso.
3. Defina antes quanto vai rodar — orçamento ou dias — e não pare no meio porque uma está ganhando.
4. Aceite empate como resultado. "As duas ofertas funcionam igual" é informação útil e barata.
5. Registre o que foi testado e o que deu, mesmo o inconclusivo. O valor aparece no décimo teste, não no primeiro.

Testar exige saber de onde veio o resultado — é o papel do rastreio first-party — e variantes que valem a pena começam em públicos realmente diferentes. O módulo está em Marketing.

O que costuma dar errado

Parar o teste quando a variante preferida está na frente. É a forma mais comum de transformar ruído em conclusão.

Testar duas coisas ao mesmo tempo. Criativo novo com público novo: se ganhar, você não sabe qual dos dois foi.

Buscar significância que o orçamento não paga. Melhor assumir "não deu para saber" do que fingir certeza.

Não anotar. Teste sem registro vira lenda: alguém lembra que "vídeo funciona melhor" e ninguém sabe de onde veio.

Referência rápida