Vrai ou faux : l'A/B testing

Vous êtes novice dans le domaine ou déjà expert, vous allez lancer votre premier test ou vous réalisez des tests A/B chaque jour ; ou vous cherchez encore à découvrir de nouvelles choses autour de cette notion…

L'équipe Datama a réuni ses experts A/B test pour répondre à toutes vos questions les plus spécifiques. Qu'il s'agisse du nombre de tests, de la durée, de la méthode, de la répartition du trafic ou de la significativité de ces tests, toutes les réponses que vous cherchez sur les tests A/B sont ici ! Guillaume, decision scientist depuis plus de 10 ans, et Alex, expert CRO, partagent leur expertise avec vous.

1. Il est possible de faire tourner plusieurs tests en même temps sur la même page : VRAI** Cette question revient souvent, et beaucoup pensent que ce n'est pas possible. Mais mathématiquement, c'est bien sûr possible de faire tourner plusieurs tests en même temps sur la même page. Tant que la répartition des visiteurs est totalement aléatoire (c'est-à-dire que ce ne sont pas les visiteurs pairs qui vont sur les pages A et A' et les visiteurs impairs sur les pages B et B'), que les deux tests sont indépendants et que le volume est suffisant, alors vous pouvez réaliser tous les tests que vous souhaitez.

Par exemple, des sites comme Homeaway ou Booking réalisent plus de 200 tests/mois sur leur site web. Il n'existe pourtant pas 200 types de pages différents sur ces sites.

2. Il n'est possible de faire que des tests 50/50 : FAUX

En effet, vous pouvez choisir votre propre répartition !

Cependant, en 90/10, la durée du test sera contrainte par le trafic minimum (ici 10). Si vous n'êtes pas confiant sur un test, ou si vous souhaitez tester prudemment au départ, vous pouvez démarrer en 90/10.

Bien sûr, vous pouvez également réaliser des tests A/B/C/D en parallèle avec plusieurs variantes en même temps (par exemple 25/25/25/25).

3. La répartition du trafic doit rester stable pendant le test : VRAI (ou presque toujours)

Oui, idéalement, la répartition du trafic doit rester stable dans un test A/B classique. Cependant, il existe quelques exceptions :

• Souvent, durant les 2-3 premiers jours du test, on réalise une montée en charge (ramp-up) en démarrant à 1/99, afin de vérifier que les données montent proprement en production avant de passer à 50/50. Cette période de ramp-up ne peut pas être utilisée pour lire les résultats.
• Même si c'est statistiquement plus complexe, il existe des approches multi-armed-bandit (différentes du multi-variant testing) : les entreprises très avancées en A/B testing utilisent cette approche pour faire varier la répartition du trafic au fil du temps. Il s'agit de démarrer à 50/50, puis, lorsqu'une variante se révèle meilleure, de déséquilibrer le trafic vers celle-ci afin de ne pas perdre de trafic. Attention, cette approche est réellement plus difficile à gérer et à lire statistiquement.

4. La significativité d'une métrique ne peut pas dépasser 1 : FAUX

Souvent, la question posée est la suivante : quelle est la significativité de la variation de mon panier moyen ?

Si j'ai augmenté ma conversion de 2 %, mon outil d'A/B testing peut me dire si c'est statistiquement significatif.

En revanche, si mon panier d'achat moyen passe de 320 € à 325 €, est-ce significatif ? Ce n'est pas toujours la réponse fournie par les outils d'A/B testing, car ceux-ci suivent des approches qui font souvent l'hypothèse que la variable suivie est une variable de Bernoulli (la conversion vaut soit 1, soit 0). Pour obtenir la significativité sur le panier moyen ou, par exemple, sur le revenu par utilisateur, il faut simplement revenir à la distribution de base de cette métrique.

• C'est ce que nous faisons avec notre outil Datama Impact. Nous pouvons ainsi lire la significativité sur des métriques qui ne sont pas classiques.

5. La méthode bayésienne est meilleure que la méthode fréquentiste : CELA DÉPEND

Le marché est actuellement plus enclin à proposer des tests bayésiens, car ils sont plus faciles à interpréter. Pour présenter les résultats à votre direction, vous pouvez simplement dire : « voici le pourcentage de chances que A soit meilleur que B ». Les tests fréquentistes sont un peu plus difficiles à interpréter, car vous testez la probabilité que ce que vous observez soit anormal. C'est donc beaucoup plus difficile à expliquer à un décideur, ce qui explique pourquoi les outils d'A/B testing ne sont pas aussi efficaces avec cette approche.

• Mais d'un point de vue statistique, chez Datama, nous sommes plus à l'aise avec l'approche fréquentiste pour lire les résultats de significativité — donc nous faisons les deux ! Et il existe d'ailleurs d'autres tests…
• C'est ce que nous faisons avec notre outil Datama Impact. Nous pouvons ainsi lire la significativité sur des métriques qui ne sont pas classiques.

6. Tous les sites devraient faire des tests A/B : FAUX En réalité, pas toujours ! Cela n'a pas vraiment de sens pour les très petits sites (moins de 10 000 visiteurs/mois), car pour obtenir une significativité statistique, il faut un grand volume de trafic et de données ! Il est préférable de d'abord travailler sur le dimensionnement, la durée de test, l'évaluation de la significativité…

Dans ce cas, pour les petits sites, il est préférable de regarder ce que font les autres, ou de faire du user-testing plutôt que de mettre en place un outil d'A/B testing ! Faites des études de marché, ayez une culture de l'expérimentation, collectez des données sur vos actifs pour voir ce qui fonctionne ou non…

• En revanche, pour les sites plus importants, c'est indispensable.

7. La significativité doit être surveillée même si elle est atteinte plus tôt que prévu

C'est une question délicate : au minimum, vous ne pouvez pas faire tourner un test A/B moins d'une semaine (notamment en raison de la saisonnalité hebdomadaire). De plus, même si les statistiques indiquent que les résultats sont significatifs, vous ne devriez pas prendre de décision avec moins de 100-200 observations de succès (achat/conversion) en A et en B. La règle de base est donc de s'en tenir au dimensionnement réalisé avant le test.

En revanche, il est possible de fixer certaines règles business avant le test. Par exemple, si l'évolution est drastique et très rapide (par exemple une baisse de 20 % le premier jour), ou prolongée (perte de conversion significative pendant 5 jours consécutifs), une action doit être prise pour freiner cette perte de business excessive ! Dans ces conditions, le test peut être arrêté.

8. Les tests A/A ne servent à rien : FAUX

En réalité, c'est l'une des premières étapes à réaliser lorsqu'on met en place des tests A/B. Il est préférable d'avoir un test A/A en permanence, ne serait-ce que pour vérifier la cohérence des chiffres et des résultats, et que le plat A/A est observé en continu.

• De plus, sur une période trop courte, on observera régulièrement un A/A négatif ou positif (!), ce qui montre clairement le manque de pertinence de données trop faibles et/ou sur une période trop courte (pour tous les sceptiques statistiques…).

Si l'on observe des résultats sur une période suffisamment longue significativement à la hausse ou à la baisse, cela pose la question de la mise en place des outils, des cookies de tracking, des problématiques de web analytics… autant de questions fondamentales sur lesquelles de nombreux acteurs rencontrent de nombreux défis. Mais dans ces cas, le premier réflexe devrait être de se demander : avez-vous fait tourner un test A/A pour vérifier que votre web analytics était bien aligné ?

Faire tourner un test A/A d'un point de vue technologique permet de s'assurer que les outils techniques sont bien alignés, de voir la différence entre les connexions données par les outils d'A/B testing et les outils analytics… Faire tourner un test A/A devrait être obligatoire lorsque vous intégrez un nouvel outil, ou pour réaliser un « bilan de santé », tous les 6 mois, pour vous assurer que les outils sont opérationnels et alignés.