Comment analyser les résultats d'un test A/B sans statisticien (Guide 2026)

Pour analyser les résultats d'un test A/B, comparez les deux groupes sur une seule métrique principale. Vérifiez si l'écart est supérieur à la variation aléatoire normale, puis déterminez la fourchette dans laquelle la différence réelle pourrait se situer. Excel peut faire les calculs. Ce sont généralement les décisions d'interprétation qui posent problème.

Ce guide présente les éléments à rassembler avant de vous pencher sur les chiffres et la méthode pour réaliser le test manuellement. Il aborde également les limites de la méthode manuelle et la manière d'interpréter les résultats en toute honnêteté.

Ce dont vous avez besoin avant même de pouvoir analyser le test

Quatre éléments déterminent si un résultat a de la valeur. Rassemblez-les en premier.

Une métrique principale, choisie avant le lancement du test. Taux de conversion, revenu par visiteur ou taux d'activation. Définissez-la à l'avance. Choisir sa métrique après avoir vu les données est le meilleur moyen pour les équipes de s'auto-persuader d'une victoire.

Des volumes bruts, pas seulement des pourcentages. Une hausse de 3% n'a pas la même signification sur 200 visiteurs que sur 200 000. Vous avez besoin des dénominateurs.

Une période de test complète. Les semaines incomplètes biaisent les résultats, car les comportements en semaine et le week-end diffèrent. Testez sur des semaines entières.

Un historique de ce qui a changé. Une seule variable par test. Si vous modifiez à la fois le titre et la couleur du bouton, aucune statistique ne pourra isoler leur impact respectif.

S'il manque l'un de ces quatre éléments, arrêtez-vous avant de faire les calculs. Un calcul rigoureux sur un test biaisé ne fera que générer une erreur avec une fausse certitude.

Les deux questions auxquelles répond chaque test A/B

Chaque résultat se résume à deux questions, qu'il est facile de confondre.

La différence est-elle réelle ? C'est la question de la significativité. Elle permet de savoir quelle est la probabilité d'obtenir un écart aussi important si les deux versions avaient en réalité des performances identiques. La p-value y répond. Par convention, un résultat inférieur à 0,05 est considéré comme suffisamment improbable pour justifier une action.

La différence est-elle assez importante pour compter ? C'est la question de la taille de l'effet. Un intervalle de confiance y répond en indiquant la fourchette dans laquelle se situe probablement la différence réelle. Une hausse statistiquement réelle de 0,2% peut très bien ne pas valoir le coût de développement.

Un test significatif mais à l'impact infime est une erreur d'interprétation courante et coûteuse. Répondez aux deux questions, dans cet ordre. Présentez les deux chiffres ensemble, car une équipe qui n'entend parler que de la p-value aura tendance à déployer chaque résultat significatif.

La méthode manuelle dans Excel

Excel gère cela nativement. La méthode dépend du type de métrique que vous testez.

Présentez les deux groupes côte à côte

Créez une colonne par variante. Pour une métrique continue comme le revenu par visiteur, chaque ligne correspond à la valeur d'un visiteur. Pour la conversion, chaque ligne est un 1 ou un 0. Conservez les lignes brutes plutôt qu'un résumé, car les formules ont besoin de la distribution sous-jacente.

Utilisez T.TEST pour une métrique continue

T.TEST(array1, array2, tails, type) renvoie la probabilité associée à un test t de Student. Utilisez tails = 2 à moins d'avoir décidé à l'avance qu'une seule direction compte. Pour le type, utilisez 1 pour des échantillons appariés, 2 lorsque les deux groupes ont une variance égale, et 3 lorsqu'ils ont des variances différentes. Un test à deux échantillons de variances inégales est l'option par défaut la plus sûre pour la plupart des tests web.

La formule renvoie directement la p-value. La page de la fonction T.TEST de Microsoft documente ces arguments.

Gérez les taux de conversion différemment

La conversion est une proportion, pas une mesure continue. L'approche standard est un test z à deux proportions, et Excel ne dispose pas d'une fonction unique pour cela. Deux options s'offrent à vous.

Construisez le test z à la main à partir de la proportion globale et de l'erreur type, puis convertissez le score en p-value avec NORM.S.DIST. Ou présentez les effectifs sous forme de tableau croisé à double entrée (convertis et non convertis par variante). Calculez les effectifs théoriques, puis utilisez CHISQ.TEST pour obtenir la p-value.

Les deux méthodes fonctionnent. Toutes deux nécessitent une reconstruction à chaque fois que la structure du test change.

Les limites de la méthode manuelle

Trois facteurs viennent systématiquement compliquer la tâche.

La p-value seule ne vous indique pas l'ampleur de la hausse, vous devez donc tout de même calculer l'intervalle de confiance séparément. L'utilisation de métriques multiples multiplie votre taux de faux positifs, et rien dans la feuille de calcul ne vous en avertit. De plus, chaque nouveau test implique de reconstruire les mêmes formules sur un export au format différent.

Il y a un quatrième inconvénient facile à ignorer : la personne qui a créé la feuille de calcul devient la seule capable de la vérifier.

Pour un test unique, la méthode manuelle convient très bien. Pour un programme de tests hebdomadaires, vous vous retrouverez à reconstruire la même feuille de calcul cinquante fois par an.

Comment analyser les résultats de tests A/B avec Powerdrill Bloom

Si vos données de test se trouvent déjà dans un export, vous pouvez vous épargner l'écriture des formules.

Étape 1 : Importez vos données de test

Glissez-déposez l'export Excel, CSV ou TSV de votre outil de test ou de votre base de données. Vous pouvez charger plusieurs fichiers simultanément, ce qui permet de comparer un fichier d'événements et un fichier d'utilisateurs en une seule fois. La détection et le nettoyage des colonnes s'effectuent automatiquement lors de l'importation.

Étape 2 : Décrivez la comparaison en langage naturel

Posez la question comme vous le feriez à un collègue. Par exemple : « compare la conversion entre la variante A et la variante B, dis-moi si la différence est significative et donne-moi l'intervalle de confiance. » L'agent choisit le test approprié pour le type de métrique, indique la p-value ainsi que l'intervalle, et explique le test utilisé. Demandez une ventilation par segment et il relancera l'analyse sans que vous ayez à tout reconstruire.

Étape 3 : Exportez le graphique, le rapport ou la présentation

Exportez le résultat sous forme de graphique, intégrez-le dans un résumé écrit ou convertissez l'espace de travail en diapositives pour votre présentation. Les styles Professional, Business et Fancy s'exportent tous vers PowerPoint ou Notion. Pour la partie visuelle, l'outil de visualisation de données propose d'autres types de graphiques à partir du même import.

Comment interpréter les résultats sans sur-promettre

Ce que vous voyez	Ce que cela signifie	Ce que cela ne signifie pas
p = 0,03	Un écart de cette taille est improbable s'il n'y a pas de différence réelle	Pas 97 % de chances que B soit meilleur
p = 0,20	Pas assez de preuves pour trancher	Pas la preuve que les versions sont identiques
Intervalle de −1 % à +6 %	La hausse réelle pourrait être négative	Pas une hausse de 2,5 %, même s'il s'agit du point médian
Significatif mais hausse de 0,2 %	Réel, mais ne vaut probablement pas la peine d'être déployé	Pas un succès commercial en soi
Significatif sur l'une des huit métriques	À peu près ce que le hasard produit à lui seul	Pas une découverte

Arrondissez également de manière honnête. Présenter une hausse avec deux décimales sous-entend une précision que la taille de l'échantillon ne permet pas de garantir.

Rédigez la conclusion sous forme de phrase incluant une fourchette. « La variante B a augmenté la conversion de l'ordre de 1 % à 5 % » est honnête. « La variante B l'emporte » ne l'est pas, sauf si l'intervalle se situe entièrement au-dessus de zéro.

Erreurs courantes

Arrêter le test dès qu'il semble significatif. Vérifier les résultats de manière répétée et s'arrêter au premier signal positif augmente considérablement le taux de faux positifs. Déterminez la taille de l'échantillon et la date de fin à l'avance, puis patientez.

Tester huit métriques et ne présenter que la gagnante. Avec un nombre suffisant de métriques, l'une d'elles finira par franchir le seuil de 0,05 par pur hasard. Définissez la métrique principale dès le départ et considérez le reste comme du contexte.

Ignorer le dénominateur. Les petits échantillons produisent des variations de pourcentage spectaculaires en apparence. Affichez toujours les volumes à côté des taux.

Segmenter a posteriori jusqu'à trouver un résultat positif. Découper les données par appareil, pays et canal jusqu'à ce qu'un segment devienne significatif revient au même problème sous une autre forme. Définissez à l'avance les segments qui vous intéressent.

Comparer des groupes qui n'ont jamais été comparables. Si le trafic a été réparti de manière inégale, ou si les variantes ont été testées sur des jours différents, la différence mesurée intégrera également ce déséquilibre.

Considérer un résultat nul comme un échec. Un test qui ne montre aucune différence apporte une réelle information. Il vous évite de déployer un changement qui demande des efforts pour un retour nul.

En résumé

L'analyse des résultats d'un test A/B se résume à deux réponses : la différence est-elle réelle, et est-elle assez importante pour compter. Excel vous donne la première réponse avec T.TEST et vous oblige à construire la seconde. Les proportions nécessitent un test différent de celui des métriques continues, une étape que la plupart des gens omettent.

Si vous réalisez des tests régulièrement, cette étape de reconstruction est celle qu'il convient de supprimer. Essayez Powerdrill Bloom gratuitement — importez l'export, demandez la comparaison en langage naturel et exportez le compte-rendu. Pour découvrir d'autres outils, consultez les outils d'IA pour l'analyse des tests A/B, et pour les bases, comment réaliser des statistiques descriptives.

Foire aux questions

Comment savoir si les résultats de mon test A/B sont significatifs ?

Comparez les deux groupes sur votre métrique principale et calculez une p-value. Un résultat inférieur à 0,05 est le seuil habituel pour considérer qu'une différence a peu de chances d'être due au hasard. Associez-le à un intervalle de confiance, car la significativité seule ne dit rien sur l'ampleur de la différence.

Puis-je analyser les résultats de tests A/B dans Excel ?

Oui. Utilisez T.TEST pour les métriques continues telles que le revenu par visiteur. Les taux de conversion étant des proportions, ils nécessitent un test z à deux proportions ou un test du chi-deux sur un tableau croisé d'effectifs à double entrée. Excel ne dispose d'aucune fonction intégrée unique pour le test à deux proportions.

De quelle taille d'échantillon ai-je besoin pour un test A/B ?

Cela dépend de votre taux de référence et de la plus petite hausse que vous souhaitez détecter. Les hausses attendues plus faibles nécessitent des échantillons beaucoup plus grands. Calculez l'objectif avant le lancement, puis poursuivez le test jusqu'à atteindre ce nombre au lieu de vous arrêter dès que le résultat semble satisfaisant.

Que m'indique réellement une p-value ?

Elle donne la probabilité d'observer une différence au moins aussi importante si les deux versions avaient réellement les mêmes performances. Une p-value faible signifie que le hasard est une explication peu probable. Il ne s'agit pas de la probabilité que votre variante soit meilleure.

Pourquoi mon test A/B n'a-t-il montré aucune différence ?

Trois raisons courantes : l'échantillon était trop petit pour détecter l'effet, le changement était trop subtil pour modifier les comportements, ou il n'y a réellement aucune différence. Un résultat nul est une véritable conclusion, et il vous évite de déployer une nouveauté qui ne rapporterait rien.