Como analisar resultados de testes A/B sem um estatístico (Guia de 2026)

Para analisar os resultados de testes A/B, compare os dois grupos em uma métrica primária. Verifique se a diferença é maior do que a variação aleatória normal e, em seguida, defina o intervalo no qual a diferença real pode estar. O Excel pode fazer as contas. As decisões de julgamento em torno disso são o que geralmente dá errado.

Este guia aborda o que coletar antes de olhar para os números e como executar o teste manualmente. Também aborda onde o caminho manual termina e como ler os resultados de forma honesta.

O que você precisa antes mesmo de começar a ler o teste

Quatro coisas determinam se um resultado significa alguma coisa. Colete-as primeiro.

Uma métrica primária, escolhida antes de o teste ser executado. Taxa de conversão, receita por visitante ou taxa de ativação. Escolha com antecedência. Escolher depois de ver os dados é como as equipes se convencem de uma vitória.

Números absolutos, não apenas porcentagens. Um aumento de 3% significa uma coisa com 200 visitantes e algo muito diferente com 200.000. Você precisa dos denominadores.

A janela completa do teste. Semanas parciais distorcem os resultados, pois o comportamento nos dias de semana e nos fins de semana é diferente. Execute semanas inteiras.

Um registro do que mudou. Uma variável por teste. Se você mudou o título e a cor do botão juntos, nenhuma estatística conseguirá separá-los.

Se alguma dessas quatro coisas estiver faltando, pare antes de fazer as contas. Um cálculo exato em um teste comprometido ainda produzirá uma resposta errada com toda a certeza.

As duas perguntas que todo teste A/B responde

Todo resultado se resume a duas perguntas, e é fácil confundi-las.

A diferença é real? Essa é a questão da significância. Ela questiona qual seria a probabilidade de uma diferença tão grande se as duas versões tivessem, na verdade, um desempenho idêntico. O valor-p responde a isso. A convenção é que um valor abaixo de 0.05 é considerado improvável o suficiente para se tomar uma atitude.

A diferença é grande o suficiente para importar? Essa é a questão do tamanho do efeito. Um intervalo de confiança responde a isso, fornecendo a faixa em que a diferença real plausivelmente se encontra. Um aumento estatisticamente real de 0.2% pode ainda não valer o custo de engenharia.

Um teste que é significativo, mas minúsculo, é uma interpretação errada comum e cara. Responda a ambas as perguntas, nessa ordem. Relate ambos os números juntos, pois uma equipe que só ouve o valor-p trata todo resultado significativo como pronto para ser implementado.

O caminho manual no Excel

O Excel lida com isso nativamente. O caminho depende do tipo de métrica que você está testando.

Organize os dois grupos lado a lado

Coloque uma coluna por variante. Para uma métrica contínua, como receita por visitante, cada linha representa o valor de um visitante. Para conversão, cada linha é um 1 ou um 0. Mantenha as linhas brutas em vez de um resumo, pois as fórmulas precisam da distribuição subjacente.

Use T.TEST para uma métrica contínua

T.TEST(array1, array2, tails, type) retorna a probabilidade associada a um teste t de Student. Use tails = 2, a menos que você tenha decidido antecipadamente que apenas uma direção conta. Para type, use 1 para amostras pareadas, 2 quando os dois grupos tiverem variância igual e 3 quando não tiverem. A variância desigual de duas amostras é o padrão mais seguro para a maioria dos testes web.

A fórmula retorna o valor-p diretamente. A página da função T.TEST da Microsoft documenta os argumentos.

Lide com as taxas de conversão de forma diferente

A conversão é uma proporção, não uma medida contínua. A abordagem padrão é um teste z para duas proporções, e o Excel não possui uma função única para isso. Você tem duas opções viáveis.

Monte o teste z manualmente a partir da proporção combinada e do erro padrão e, em seguida, converta a pontuação em um valor-p com NORM.S.DIST. Ou organize as contagens em uma tabela dois por dois de convertidos e não convertidos por variante. Calcule as contagens esperadas e use CHISQ.TEST para obter o valor-p.

Ambas funcionam. Ambas exigem uma reconstrução toda vez que a estrutura do teste muda.

Onde o caminho manual chega ao limite

Três coisas costumam inviabilizar esse processo.

O valor-p sozinho não informa o tamanho do aumento, então você ainda precisa de um cálculo separado para o intervalo de confiança. Múltiplas métricas multiplicam sua taxa de falsos positivos, e nada na planilha avisa você sobre isso. E cada novo teste significa reconstruir as mesmas fórmulas para uma exportação com formato diferente.

Há um quarto custo que é fácil de ignorar. Quem quer que tenha criado a planilha se torna a única pessoa capaz de verificá-la.

Para um único teste, o caminho manual funciona bem. Para um programa de testes semanais, você estará reconstruindo a mesma planilha cinquenta vezes por ano.

Como analisar resultados de testes A/B com o Powerdrill Bloom

Se os dados do seu teste já estiverem em um arquivo de exportação, você pode pular a montagem das fórmulas.

Passo 1: Faça o upload dos dados do seu teste

Arraste e solte a exportação em Excel, CSV ou TSV da sua ferramenta de teste ou do seu banco de dados. Vários arquivos podem ser carregados juntos, permitindo comparar um arquivo de eventos e um de usuários de uma só vez. A detecção e a limpeza de colunas são executadas no upload.

Passo 2: Descreva a comparação em linguagem natural

Faça a pergunta da mesma forma que faria a um colega. For exemplo: "compare a conversão entre as variantes A e B, diga-me se a diferença é significativa e me dê o intervalo de confiança." O agente escolhe o teste apropriado para o tipo de métrica, relata o valor-p e o intervalo, e explica qual teste utilizou. Peça um detalhamento por segmento e ele executará novamente, em vez de obrigar você a refazer tudo.

Passo 3: Exporte o gráfico, relatório ou apresentação

Exporte o resultado como um gráfico, incorpore-o a um resumo escrito ou converta a tela em slides para a apresentação. Os estilos Professional, Business e Fancy exportam para o PowerPoint ou Notion. Para a parte visual, a ferramenta de visualização de dados cobre os outros tipos de gráficos disponíveis a partir do mesmo upload.

Como ler os resultados sem fazer afirmações exageradas

O que você vê	O que significa	O que não significa
p = 0.03	Uma diferença deste tamanho é improvável se não houver diferença real	Não significa uma chance de 97% de que B seja melhor
p = 0.20	Não há evidências suficientes para definir um vencedor	Não é prova de que as versões são idênticas
Intervalo de −1% a +6%	O aumento real pode ser negativo	Não significa um aumento de 2.5%, mesmo que esse seja o ponto médio
Significativo, mas com aumento de 0.2%	Real, mas provavelmente não vale o esforço de implementação	Não é uma vitória de negócios por si só
Significativo em uma de oito métricas	Aproximadamente o que o acaso produziria sozinho	Não é uma descoberta

Arredonde com honestidade também. Relatar um aumento com duas casas decimais sugere uma precisão que o tamanho da amostra não suporta.

Escreva a conclusão como uma frase que inclua um intervalo. "A variante B aumentou a conversão em algo entre 1% e 5%" é honesto. "A variante B venceu" não é, a menos que o intervalo esteja totalmente acima de zero.

Erros comuns

Interromper o teste assim que ele parecer significativo pela primeira vez. Verificar repetidamente e parar no primeiro momento favorável infla drasticamente os falsos positivos. Decida o tamanho da amostra e a data de término com antecedência e, depois, espere.

Testar oito métricas e relatar a vencedora. Com métricas suficientes, alguma delas cruzará a marca de 0.05 por mero acaso. Defina a métrica primária logo no início e trate o restante como contexto.

Ignorar o denominador. Amostras pequenas produzem variações percentuais que parecem dramáticas. Sempre mostre os números absolutos ao lado das taxas.

Segmentar após o fato até encontrar algo que funcione. Filtrar por dispositivo, país e canal até que uma fatia seja significativa é o mesmo problema com outra roupagem. Defina previamente os segmentos que importam para você.

Comparar grupos que nunca foram comparáveis. Se o tráfego foi dividido de forma desigual ou se as variantes foram executadas em dias diferentes, a diferença medida também incluirá esse desequilíbrio.

Tratar um resultado nulo como fracasso. Um teste que não mostra diferença traz informações reais. Ele evita que você implemente uma alteração que exige esforço e não traz retorno.

Em resumo

Analisar os resultados de testes A/B se resume a duas respostas: se a diferença é real e se ela é grande o suficiente para importar. O Excel fornece a primeira resposta com T.TEST e exige que você monte a segunda. Proporções precisam de um teste diferente das métricas contínuas, que é a etapa que a maioria das pessoas pula.

Se você realiza testes regularmente, a reconstrução é a parte que vale a pena eliminar. Experimente o Powerdrill Bloom gratuitamente — faça o upload da exportação, peça a comparação em linguagem natural e exporte o relatório. Para opções de ferramentas, consulte ferramentas de IA para análise de testes A/B e, para a base teórica, como executar estatísticas descritivas.

Perguntas frequentes

Como saber se os resultados do meu teste A/B são significativos?

Compare os dois grupos em sua métrica primária e calcule um valor-p. Abaixo de 0.05 é o limite usual para considerar uma diferença improvável de ser fruto do acaso. Combine isso com um intervalo de confiança, pois a significância por si só não diz nada sobre o tamanho da diferença.

Posso analisar resultados de testes A/B no Excel?

Sim. Use T.TEST para métricas contínuas, como receita por visitante. As taxas de conversão são proporções, portanto, precisam de um teste z para duas proporções ou de um teste qui-quadrado em uma tabela de contagem dois por dois. O Excel não possui uma única função integrada para o teste de duas proporções.

Qual tamanho de amostra eu preciso para um teste A/B?

Depende da sua taxa de referência e do menor aumento que vale a pena detectar. Aumentos esperados menores exigem amostras muito maiores. Calcule a meta antes do lançamento e, em seguida, execute o teste até atingir esse número, em vez de parar quando o resultado parecer favorável.

O que um valor-p realmente me diz?

Ele fornece a probabilidade de observar uma diferença pelo menos tão grande quanto essa se as duas versões realmente tivessem o mesmo desempenho. Um valor-p baixo significa que o acaso é uma explicação improvável. Não é a probabilidade de que a sua variante seja melhor.

Por que meu teste A/B não mostrou nenhuma diferença?

Três motivos comuns. A amostra era pequena demais para detectar o efeito, a mudança foi sutil demais para alterar o comportamento ou realmente não há diferença. Um resultado nulo é uma descoberta real e protege você de implementar algo que não trará retorno.