Como o simulador funciona
Você informa 4 variáveis do seu A/B test e a ferramenta calcula quantos visitantes você precisa, por quanto tempo rodar e se o resultado vai ser confiável.
- Taxa de conversão do controle: a conversão que você tem hoje (%)
- Uplift esperado: o ganho que a IA promete gerar sobre o controle (%)
- Tráfego diário , visitantes por dia disponíveis para o teste
- Nível de confiança , 90%, 95% ou 99%
A ferramenta devolve o sample size por braço (visitantes necessários em cada variação), os dias estimados para atingir significância e o poder estatístico do teste. Tudo roda no navegador. Nada é enviado pra servidor.
Por que simular antes de rodar
O erro mais comum em A/B test é parar cedo demais. Você roda um teste por 4 dias, vê a variação na frente e declara vitória: mas com pouca amostra o resultado é ruído, não sinal. Semana que vem a conversão volta ao normal e ninguém entende por quê.
O simulador responde as perguntas certas antes de você gastar tráfego:
- Quantos visitantes preciso?: calculado pela fórmula de tamanho de amostra
- Quantos dias de teste?: sample size dividido pelo tráfego diário
- Vai dar pra confiar no resultado?: poder estatístico (geralmente 80%)
Se a resposta for “precisa de 90 dias”, talvez não valha a pena rodar. Melhor priorizar outra hipótese.
Como os números são calculados
A fórmula de tamanho de amostra por braço usa a aproximação normal para diferença entre duas proporções:
n = (z_α/2 + z_β)² × [p1(1−p1) + p2(1−p2)] / (p2 − p1)²
Onde p1 é a conversão do controle, p2 é a conversão esperada com o uplift, z_α/2 vem do nível de confiança (90% → 1.645, 95% → 1.96, 99% → 2.576) e z_β vem do poder estatístico (80% → 0.84). Trate como referência: testes reais envolvem fatores como efeito mínimo detectável, sazonalidade e múltiplas comparações que afetam a leitura final.
Quer rodar A/B test que produz decisão?
O simulador planeja o experimento. O diagnóstico gratuito (30 min, online) ajuda a escolher quais hipóteses valem testar primeiro e como integrar a IA ao funil sem poluir a leitura.