Calculateur de significativité de test A/B — Outil gratuit
Vérifiez si le gagnant de votre test A/B est réel. Saisissez impressions et conversions des deux variantes pour voir chaque taux de conversion, le gain relatif, la valeur p et un verdict en langage clair.
Variante A (contrôle)
Variante B (challenger)
Fonctionnalités
- Taux de conversion de chaque variante, côte à côte
- Gain relatif : de combien la challenger dépasse le contrôle
- Valeur p bilatérale issue d'un test z de deux proportions
- Refuse de désigner un gagnant sous 100 impressions ou 5 conversions par variante
- Fonctionne entièrement dans votre navigateur : rien n'est envoyé
Questions fréquentes
Que m'apprend vraiment la significativité statistique ?
Une seule chose précise : la probabilité d'observer un écart de cette taille si les deux variantes se valaient. Une valeur p inférieure à 0,05 signifie qu'un tel écart serait inhabituel par simple hasard. Elle ne dit PAS que l'écart est assez important commercialement, qu'il tiendra le mois prochain, que la variante B en est la cause, ni que vous pouvez arrêter le test : ces jugements restent les vôtres.
Pourquoi affiche-t-il parfois « données insuffisantes » au lieu d'un verdict ?
Parce qu'une valeur p calculée sur une poignée d'événements est du bruit déguisé en résultat. Si une variante compte moins de 100 impressions ou moins de 5 conversions, le test manque trop de puissance pour informer : le calculateur le dit plutôt que d'afficher un chiffre sur lequel on agirait.
Quel test est utilisé ?
Un test z bilatéral de deux proportions sur la proportion combinée, le contrôle standard pour comparer deux taux de conversion. La valeur p vient d'une approximation normale, précise aux tailles d'échantillon pour lesquelles l'outil autorise un verdict.
95 % est-il le bon seuil de confiance ?
C'est la convention, pas une loi. 95 % revient à accepter environ 1 chance sur 20 de couronner un faux gagnant. Si le changement est peu coûteux et réversible, vous pouvez agir sur une preuve plus faible ; s'il est coûteux, attendez plus de données ou durcissez le seuil.
Mes données sont-elles envoyées quelque part ?
Non. Tous les calculs ont lieu dans votre navigateur. Rien n'est envoyé, stocké ni journalisé, et aucun compte n'est nécessaire.
