Vérifiez l’échantillon et la significativité d’un test A/B

Il contrôle aussi si chaque variante contient assez de conversions et de non-conversions pour étayer raisonnablement l’approximation normale. Utilisez-le comme un indicateur rapide et transparent avant de prendre une décision, sans oublier que la statistique ne remplace ni la conception de l’expérience, ni le contrôle de la qualité du trafic, ni une règle d’arrêt fixée à l’avance.

Saisissez des totaux cohérents issus de la même expérience

Indiquez le nombre de visiteurs et de conversions des variantes A et B. Le nombre de visiteurs correspond aux personnes ou sessions admissibles affectées à chaque version, tandis que les conversions désignent celles qui ont atteint le même objectif prédéfini. Appliquez aux deux variantes une fenêtre d’attribution, des règles d’audience, un filtrage des robots et une définition de conversion identiques. Le calculateur refuse une variante sans visiteur, car aucun taux ne peut alors être observé, ainsi qu’un nombre de conversions supérieur aux visiteurs, qui ne représente pas un résultat binomial d’une conversion par personne. Si votre indicateur autorise plusieurs achats ou événements par visiteur, ramenez-le d’abord à un résultat individuel converti ou non converti. Ne mélangez pas des totaux provenant de dates, campagnes, appareils ou règles d’affectation différents, sauf si ces écarts faisaient partie du protocole. L’affectation aléatoire et l’exposition simultanée sont essentielles : même exact, un score z ne corrige pas les effets de calendrier, une répartition défaillante, les doublons ou un suivi différent selon la version.

Interprétez ensemble les taux, l’écart et le score z

Le taux observé de chaque variante est le nombre de conversions divisé par celui des visiteurs. L’écart absolu soustrait le taux de A à celui de B : un résultat positif favorise donc B, et un résultat négatif favorise A. L’écart en points de pourcentage exprime la même distance sur une échelle familière de 0 à 100 ; il ne s’agit pas d’une hausse relative. Le calculateur regroupe ensuite les conversions des deux groupes afin d’estimer l’erreur type attendue sous l’hypothèse nulle d’égalité des taux réels. La division de l’écart observé par cette erreur produit le score z. Le résultat est signalé comme statistiquement notable lorsque la valeur absolue du score atteint au moins 1.96, soit le seuil bilatéral courant de 5%. Cette règle de tri simple ne garantit pas que la page gagnante reproduira le même gain. Elle ne fournit aucune probabilité bayésienne, ne corrige ni les consultations répétées ni les variantes multiples et n’intègre pas la valeur du chiffre d’affaires. Examinez conjointement le sens, l’ampleur pratique et le signal statistique.

Tenez compte de la réserve sur l’échantillon avant de décider

La procédure z à deux proportions repose sur une approximation normale. Cet outil ne juge l’échantillon adéquat que si chaque variante possède au moins cinq conversions et cinq non-conversions. Il s’agit d’un minimum pratique, pas d’une garantie de puissance élevée. Si ce critère échoue, le score z reste affiché par souci de transparence, mais son franchissement du seuil doit être interprété prudemment ; une méthode exacte ou davantage d’observations conviendrait peut-être mieux. Même lorsque le contrôle réussit, demandez-vous si l’expérience pourrait détecter le plus petit effet ayant un intérêt commercial. Un gain infime mais statistiquement notable peut ne pas justifier sa mise en œuvre, tandis qu’un écart important et prometteur peut rester incertain avec peu de trafic. Évitez d’arrêter le test dès que le score dépasse 1.96 : les examens répétés augmentent les faux positifs sans plan séquentiel. Définissez avant le lancement l’indicateur cible, l’effet minimal détectable, la durée, les exclusions et la règle d’arrêt. Enfin, contrôlez les indicateurs de garde-fou et l’équilibre des segments. Ce calculateur résume un seul résultat binaire et ne révèle ni ralentissement, ni variation des remboursements, ni déséquilibre d’affectation, ni gain limité à un trafic suspect.