Catégorie : Produit | Solution : DataMa Comparer | Impact | Évaluer | Parcours, Solutions analytiques|
Type : A/B Test | Client : Matières premières
Tags: #ProductPerformance #GoogleAnalytics #Conversion #ABTest
Contexte : Tests A/B pour un tunnel de génération de leads
Le client est un acteur majeur du secteur des matières premières qui cherche à optimiser la façon dont les utilisateurs interagissent avec son site web afin de générer plus de prospects. Le client a planifié une refonte importante du tunnel de génération de leads et a fait appel aux services professionnels de DataMa pour l’aider à réaliser une analyse A/B approfondie.
Pour revoir les principes fondamentaux des A/B tests, les entreprises doivent systématiquement optimiser leurs sites Web, mais elles doivent s’assurer que tout changement aura un impact bénéfique. Pour cette raison, lancer des campagnes de A/B tests est essentiel. L’analyse des données est alors essentielle pour aborder les points suivants :
- Comprendre si les résultats des A/B tests sont significatifs, avec le degré de précision choisi
- Vérifiez que la répartition des versions A et B est uniformément répartie sur tous vos segments d’utilisateurs, pour éviter d’insérer des biais dans les résultats.
- Déterminer si les modifications ont affecté un ou plusieurs segments d’utilisateurs particuliers.
- En cas de changement majeur, analyser l’évolution du comportement des utilisateurs entre les deux versions et ainsi orienter les développements futurs du produit
Les A/B tests regroupent une multitude de tests possibles, depuis le simple changement d’un seul CTA (Call To Action), jusqu’à la refonte complète d’un tunnel d’inscription, de génération de leads ou d’achat.
En prenant ce dernier cas, la refonte d’un tunnel de génération de leads, la première étape sera de dimensionner le test A/B, qui est essentiellement une équation à quatre variables : la durée du test A/B, le volume d’utilisateurs, la variation entre les deux versions et le degré de signification.
Avant le test, il est utile de savoir combien de temps exécuter le test avant de choisir quelle version est la plus performante. Pour ce faire, il faut fixer les trois autres variables : le volume moyen d’utilisateurs sur la plateforme est connu, le degré de significativité est communément fixé à 95%, et l’hypothèse de variation que l’on souhaite avoir doit être faite pour déterminer la durée du test A/B (c’est-à-dire la période pendant laquelle le test A/B est actif pour que les résultats soient significatifs).
Approche : Utiliser toutes les solutions de DataMa pour fournir une analyse approfondie
Equation de marché
Pour simplifier l’analyse et la rendre facilement compréhensible pour les parties prenantes, l’équipe d’analyse a créé une équation de marché à l’aide d’indicateurs de performance clés (KPI) qui sont la norme en Web Analytics, tels que le nombre de prospects et le nombre d’utilisateurs atteignant l’étape X du tunnel.
L’équation de marché qui en résulte ressemble à un tunnel classique :
Dataset
Les données de ce cas d’utilisation proviennent de Google Analytics, agrégées dans une table BigQuery. Les métriques nécessaires nous permettent de suivre le comportement des utilisateurs tout au long du tunnel de génération de leads. Des dimensions, telles que la catégorie de produit, l’appareil, la source de trafic et le pays, sont incluses pour identifier correctement de quel segment proviennent les variations.
Voici un exemple de données (anonymisées) jeu de données
Pour l’analyse du parcours du client, un cas d’utilisation spécifique doit être réalisé avec une colonne “Parcours”, comprenant le parcours des utilisateurs (par exemple : “Accueil-Etape1-Etape2-Etape3”).
Voici un exemple de données (anonymisées) pour Journey
Points à retenir
Confirmation de la distribution aléatoire du trafic
L’objectif est d’identifier si le trafic est bien réparti entre les versions A et B, sur tous les segments, pour éviter les biais dans l’analyse. Comment pouvons-nous le faire ? ? Il y a parfois des exceptions qui sont faites, par exemple, les personnes qui vont accéder au site par email peuvent avoir une redirection qui est systématiquement envoyée vers la version A, il faut donc exclure ce segment de l’analyse pour interpréter les résultats. Dans DataMa, trouver ces incohérences est très simple grâce au tableau « Simple Test Matrix » où vous pouvez regarder le degré de corrélation dans toutes les dimensions entre elles :
Le but est d’avoir un niveau de corrélation entre la dimension version et les autres dimensions proche de 0.
Valider la signification du test
Une question qui se pose fréquemment lors d’un test A/B est de savoir quand arrêter le test, c’est-à-dire quand les résultats sont suffisamment significatifs pour conserver la version A ou B. Il est important de garder à l’esprit la durée théorique choisie avant l’A/B test et les contraintes opérationnelles (cf. notre article de recherche sur ce sujet).
AAvec DataMa Assess, le client avait un accès direct à cette réponse de manière très simple dans le graphique « Vue détaillée », en utilisant des tests statistiques appropriés (Bayésien, Frequentist ou Bootstrap) et un niveau de significativité (généralement fixé à 95 %).
Dans la plateforme, grâce à la vue de signification cumulée, le client a pu voir à partir de quelle date le test commençait à être significatif :
Identifier les sources d’amélioration/de régression
Une fois la meilleure version identifiée, il reste à voir sur quels segments cette version a été la plus performante et si cela correspond au point de départ. Par exemple, dans ce cas d’utilisation, le tunnel de génération de leads a été repensé pour améliorer les performances mobiles. Nous souhaitons donc que le taux de conversion sur ces appareils soit considérablement augmenté, alors que sur le bureau, nous nous attendons à ce que la refonte n’ait aucun effet négatif. Les analyses montrent que ce n’est pas le cas : nous pouvons voir que la refonte du tunnel a en fait conduit à une baisse de performances statistiquement significative sur tous les types d’appareils.
Grâce au graphique Waterfall sur DataMa Compare, le client a également pu identifier l’étape où il a constaté des gains, et pour quels segments : On voit que la refonte a eu un impact sur le passage de l’étape 1 à l’étape 2 dans tous les segments.
Evolution du nouveau comportement des utilisateurs
Enfin, parce que le changement entre les deux versions entraînait un changement majeur dans le comportement des utilisateurs, le client a analysé l’impact des changements entre les deux versions sur le parcours utilisateur. DataMa Journey permet d’accéder à une vue mettant en évidence les changements de comportement entre deux versions, à l’aide d’une vue sunburst :
Résultats
Grâce à la plateforme DataMa et aux services professionnels DataMa, le client a pu interpréter rapidement les résultats de son A/B test et savoir précisément quand et quelle version déployer, grâce à une analyse approfondie de l’endroit où fonctionnait le tunnel et quelles étaient les prochains axes d’amélioration.
Le temps nécessaire pour réaliser cette analyse complexe représente une amélioration considérable par rapport à l’approche « manuelle » traditionnelle, qui nécessite généralement que les ingénieurs de données, les data scientists et les analystes de données travaillent tous dans la même pièce pendant plusieurs jours. DataMa en a fait un projet d’une journée une fois les données collectées.
Pour tester les solutions DataMa : https://app.datama.io/demo
