Qu’est-ce qu’un test A/B ? — Outil gratuit
Un test A/B oppose deux versions qui ne diffèrent que par un seul élément et compare les résultats. Pourquoi cette variable unique est toute la discipline, combien de résultats il faut pour qu’une gagnante veuille dire quelque chose, et les erreurs qui produisent des conclusions sûres mais fausses.
Diffuser deux versions d'une publication ou d'une publicité qui ne diffèrent que par un seul élément — titre, image, appel à l'action — et comparer les résultats. Modifier plus d'une variable rend le gagnant inexplicable.
Ce que c’est
Un test A/B, ou test fractionné, oppose deux versions de la même publication ou de la même publicité et compare ce qui se passe. La version A est en général ce que vous auriez publié de toute façon ; la version B change exactement une chose. L'objectif n'est pas de trouver une meilleure publication, mais de savoir quel élément a fait bouger le chiffre, pour que la leçon survive à cette publication-là.
Comment on le mesure
La métrique se choisit avant, pas après : taux de clic pour un lien, taux de conversion pour une publicité, lecture complète pour une vidéo. Il faut ensuite assez de résultats pour que l'écart signifie quelque chose. Un calcul de significativité est ce qui sépare un vrai écart du bruit, et plus les deux versions sont proches, plus il faut de résultats pour le voir.
Souvent mal compris
L'erreur la plus fréquente n'est pas de changer deux variables, c'est d'arrêter trop tôt. En début de test les deux versions se dépassent sans arrêt, donc si vous regardez et arrêtez dès que l'une mène, vous trouverez une gagnante presque à chaque fois, y compris quand les versions sont identiques. La deuxième erreur est de tester quelque chose de trop petit : changer un emoji ne dépassera le bruit avec aucun échantillon atteignable, donc le test coûte une semaine et ne rend rien. Testez l'offre, l'accroche ou le format avant la ponctuation.
Quand cela compte
Cela compte surtout là où vous dépensez, parce que c'est là qu'un écart de deux points se cumule. En organique, l'usage honnête est plus étroit : vous ne pouvez pas tenir l'audience et le moment constants, donc traitez les comparaisons organiques comme une source d'hypothèses qu'un test payant, lui, peut trancher.
Termes associés
Fonctionnalités
- Définition claire, avec la règle d’une seule variable explicitée
- Pourquoi un écart dans les chiffres n’est pas un écart entre les versions
- Combien de temps laisser tourner un test, et pourquoi s’arrêter à la première avance est l’erreur classique
- Ce que l’organique peut et ne peut pas tester honnêtement, par rapport au payant
- Des liens vers le calculateur de significativité pour vérifier un résultat plutôt que l’estimer à l’œil
Questions fréquentes
Combien de variables puis-je changer à la fois ?
Une. Ce n’est pas une préférence de style, c’est ce qui rend le résultat explicable : si la version gagnante a un nouveau titre et une nouvelle image, le test vous dit que la paire a gagné et rien sur laquelle des deux moitiés a fait le travail.
Combien de temps doit durer un test ?
Assez pour réunir un échantillon qui ne bascule pas sur une poignée de résultats, et au moins un cycle complet de votre semaine habituelle. Un test du mardi au jeudi mesure du mardi au jeudi, pas votre audience.
Quand puis-je déclarer une gagnante ?
Quand l’écart dépasse le bruit, ce qu’indique un calcul de significativité. S’arrêter dès qu’une version prend l’avantage est la façon la plus courante d’obtenir une réponse sûre et fausse, car les avances précoces s’inversent en permanence.
Peut-on tester A/B des publications organiques ?
Seulement approximativement. Vous ne pouvez pas montrer deux versions à la même audience dans les mêmes conditions, donc une comparaison organique embarque l’heure, le jour de la semaine et l’algorithme. Traitez-la comme un indice et réservez les vrais tests au payant.
Et s’il n’y a aucun écart ?
C’est un résultat, et un résultat utile. Il signifie que l’élément changé n’est pas ce qui limite la publication, donc le test suivant devrait porter sur autre chose plutôt que sur une variation plus petite de la même chose.
