Contexte : Tests A\/B pour un tunnel de g\u00e9n\u00e9ration de leads<\/strong><\/h2>\nLe client est un acteur majeur du secteur des mati\u00e8res premi\u00e8res qui cherche \u00e0 optimiser la fa\u00e7on dont les utilisateurs interagissent avec son site web afin de g\u00e9n\u00e9rer plus de prospects. Le client a planifi\u00e9 une refonte importante du tunnel de g\u00e9n\u00e9ration de leads et a fait appel aux services professionnels de DataMa pour l’aider \u00e0 r\u00e9aliser une analyse A\/B approfondie. <\/p>\n
Pour revoir les principes fondamentaux des A\/B tests, les entreprises doivent syst\u00e9matiquement optimiser leurs sites Web, mais elles doivent s’assurer que tout changement aura un impact b\u00e9n\u00e9fique. Pour cette raison, lancer des campagnes de A\/B tests est essentiel. L\u2019analyse des donn\u00e9es est alors essentielle pour aborder les points suivants :<\/p>\n
\n- Comprendre si les r\u00e9sultats des A\/B tests sont significatifs, avec le degr\u00e9 de pr\u00e9cision choisi<\/li>\n
- V\u00e9rifiez que la r\u00e9partition des versions A et B est uniform\u00e9ment r\u00e9partie sur tous vos segments d’utilisateurs, pour \u00e9viter d’ins\u00e9rer des biais dans les r\u00e9sultats.<\/li>\n
- D\u00e9terminer si les modifications ont affect\u00e9 un ou plusieurs segments d’utilisateurs particuliers.<\/li>\n
- En cas de changement majeur, analyser l’\u00e9volution du comportement des utilisateurs entre les deux versions et ainsi orienter les d\u00e9veloppements futurs du produit<\/li>\n<\/ul>\n
Les A\/B tests regroupent une multitude de tests possibles, depuis le simple changement d’un seul CTA (Call To Action), jusqu’\u00e0 la refonte compl\u00e8te d’un tunnel d’inscription, de g\u00e9n\u00e9ration de leads ou d’achat. <\/p>\n
En prenant ce dernier cas, la refonte d’un tunnel de g\u00e9n\u00e9ration de leads, la premi\u00e8re \u00e9tape sera de dimensionner le test A\/B, qui est essentiellement une \u00e9quation \u00e0 quatre variables : la dur\u00e9e du test A\/B, le volume d’utilisateurs, la variation entre les deux versions et le degr\u00e9 de signification. <\/p>\n
Avant le test, il est utile de savoir combien de temps ex\u00e9cuter le test avant de choisir quelle version est la plus performante. Pour ce faire, il faut fixer les trois autres variables : le volume moyen d’utilisateurs sur la plateforme est connu, le degr\u00e9 de significativit\u00e9 est commun\u00e9ment fix\u00e9 \u00e0 95%, et l’hypoth\u00e8se de variation que l’on souhaite avoir doit \u00eatre faite pour d\u00e9terminer la dur\u00e9e du test A\/B (c’est-\u00e0-dire la p\u00e9riode pendant laquelle le test A\/B est actif pour que les r\u00e9sultats soient significatifs).<\/p>\n
Approche : Utiliser toutes les solutions de DataMa pour fournir une analyse approfondie<\/strong><\/h2>\nEquation de march\u00e9<\/strong><\/h3>\nPour simplifier l’analyse et la rendre facilement compr\u00e9hensible pour les parties prenantes, l’\u00e9quipe d’analyse a cr\u00e9\u00e9 une \u00e9quation de march\u00e9 \u00e0 l’aide d’indicateurs de performance cl\u00e9s (KPI) qui sont la norme en Web Analytics, tels que le nombre de prospects et le nombre d’utilisateurs atteignant l’\u00e9tape X du tunnel.<\/p>\n
L\u2019\u00e9quation de march\u00e9 qui en r\u00e9sulte ressemble \u00e0 un tunnel classique :<\/p>\n
![\"\"](\"https:\/\/datama.io\/wp-content\/uploads\/2023\/04\/market_equation-1.png\")
<\/p>\n
<\/h2>\n <\/h2>\nDataset<\/strong><\/h3>\nLes donn\u00e9es de ce cas d’utilisation proviennent de Google Analytics, agr\u00e9g\u00e9es dans une table BigQuery. Les m\u00e9triques n\u00e9cessaires nous permettent de suivre le comportement des utilisateurs tout au long du tunnel de g\u00e9n\u00e9ration de leads. Des dimensions, telles que la cat\u00e9gorie de produit, l’appareil, la source de trafic et le pays, sont incluses pour identifier correctement de quel segment proviennent les variations.<\/p>\n
\nVoici un exemple de donn\u00e9es (anonymis\u00e9es) jeu de donn\u00e9es<\/a><\/p>\n<\/blockquote>\n ![\"\"](\"https:\/\/datama.io\/wp-content\/uploads\/2023\/04\/ab_test_dataset.png\")
<\/p>\n
Pour l’analyse du parcours du client, un cas d’utilisation sp\u00e9cifique doit \u00eatre r\u00e9alis\u00e9 avec une colonne \u00ab\u00a0Parcours\u00a0\u00bb, comprenant le parcours des utilisateurs (par exemple : \u00ab\u00a0Accueil-Etape1-Etape2-Etape3\u00a0\u00bb).<\/p>\n
\nVoici un exemple de donn\u00e9es (anonymis\u00e9es) pour Journey<\/a><\/p>\n<\/blockquote>\n![\"\"](\"https:\/\/datama.io\/wp-content\/uploads\/2023\/04\/customer_journey_dataset.png\")
<\/p>\n
Points \u00e0 retenir<\/strong><\/h2>\nConfirmation de la distribution al\u00e9atoire du trafic<\/strong><\/h3>\nL\u2019objectif est d\u2019identifier si le trafic est bien r\u00e9parti entre les versions A et B, sur tous les segments, pour \u00e9viter les biais dans l\u2019analyse. Comment pouvons-nous le faire ? ? Il y a parfois des exceptions qui sont faites, par exemple, les personnes qui vont acc\u00e9der au site par email peuvent avoir une redirection qui est syst\u00e9matiquement envoy\u00e9e vers la version A, il faut donc exclure ce segment de l’analyse pour interpr\u00e9ter les r\u00e9sultats. Dans DataMa, trouver ces incoh\u00e9rences est tr\u00e8s simple gr\u00e2ce au tableau \u00ab Simple Test Matrix \u00bb o\u00f9 vous pouvez regarder le degr\u00e9 de corr\u00e9lation dans toutes les dimensions entre elles :<\/p>\n
![\"\"](\"https:\/\/datama.io\/wp-content\/uploads\/2023\/04\/device_category_distribution.png\")
<\/p>\n
Le but est d\u2019avoir un niveau de corr\u00e9lation entre la dimension version et les autres dimensions proche de 0.<\/p>\n
Valider la signification du test <\/strong><\/h3>\nUne question qui se pose fr\u00e9quemment lors d’un test A\/B est de savoir quand arr\u00eater le test, c’est-\u00e0-dire quand les r\u00e9sultats sont suffisamment significatifs pour conserver la version A ou B. Il est important de garder \u00e0 l’esprit la dur\u00e9e th\u00e9orique choisie avant l’A\/B test et les contraintes op\u00e9rationnelles (cf. notre article de recherche sur ce sujet). <\/a><\/p>\nAvec DataMa Assess, le client avait un acc\u00e8s direct \u00e0 cette r\u00e9ponse de mani\u00e8re tr\u00e8s simple dans le graphique \u00ab Vue d\u00e9taill\u00e9e \u00bb, en utilisant des tests statistiques appropri\u00e9s (Bay\u00e9sien, Frequentist ou Bootstrap) et un niveau de significativit\u00e9 (g\u00e9n\u00e9ralement fix\u00e9 \u00e0 95 %).
Dans la plateforme, gr\u00e2ce \u00e0 la vue de signification cumul\u00e9e, le client a pu voir \u00e0 partir de quelle date le test commen\u00e7ait \u00e0 \u00eatre significatif :<\/p>\n
![\"\"](\"https:\/\/datama.io\/wp-content\/uploads\/2023\/04\/ab_test_stat_significance.png\")
<\/p>\n
Identifier les sources d’am\u00e9lioration\/de r\u00e9gression<\/strong><\/h3>\nUne fois la meilleure version identifi\u00e9e, il reste \u00e0 voir sur quels segments cette version a \u00e9t\u00e9 la plus performante et si cela correspond au point de d\u00e9part. Par exemple, dans ce cas d’utilisation, le tunnel de g\u00e9n\u00e9ration de leads a \u00e9t\u00e9 repens\u00e9 pour am\u00e9liorer les performances mobiles. Nous souhaitons donc que le taux de conversion sur ces appareils soit consid\u00e9rablement augment\u00e9, alors que sur le bureau, nous nous attendons \u00e0 ce que la refonte n’ait aucun effet n\u00e9gatif. Les analyses montrent que ce n\u2019est pas le cas : nous pouvons voir que la refonte du tunnel a en fait conduit \u00e0 une baisse de performances statistiquement significative sur tous les types d\u2019appareils.<\/p>\n
![\"\"](\"https:\/\/datama.io\/wp-content\/uploads\/2023\/04\/ab_test_variation.png\")
<\/p>\n
Gr\u00e2ce au graphique Waterfall sur DataMa Compare, le client a \u00e9galement pu identifier l’\u00e9tape o\u00f9 il a constat\u00e9 des gains, et pour quels segments : On voit que la refonte a eu un impact sur le passage de l’\u00e9tape 1 \u00e0 l’\u00e9tape 2 dans tous les segments.<\/p>\n
![\"\"](\"https:\/\/datama.io\/wp-content\/uploads\/2023\/04\/waterfall_graph.png\")
<\/p>\n
<\/h2>\nEvolution du nouveau comportement des utilisateurs<\/strong><\/h3>\nEnfin, parce que le changement entre les deux versions entra\u00eenait un changement majeur dans le comportement des utilisateurs, le client a analys\u00e9 l’impact des changements entre les deux versions sur le parcours utilisateur. DataMa Journey permet d’acc\u00e9der \u00e0 une vue mettant en \u00e9vidence les changements de comportement entre deux versions, \u00e0 l’aide d’une vue sunburst : <\/p>\n
![\"\"](\"https:\/\/datama.io\/wp-content\/uploads\/2023\/04\/customer_journey.png\")
<\/p>\n
R\u00e9sultats<\/strong><\/h2>\nGr\u00e2ce \u00e0 la plateforme DataMa et aux services professionnels DataMa, le client a pu interpr\u00e9ter rapidement les r\u00e9sultats de son A\/B test et savoir pr\u00e9cis\u00e9ment quand et quelle version d\u00e9ployer, gr\u00e2ce \u00e0 une analyse approfondie de l’endroit o\u00f9 fonctionnait le tunnel et quelles \u00e9taient les prochains axes d’am\u00e9lioration.<\/p>\n
Le temps n\u00e9cessaire pour r\u00e9aliser cette analyse complexe repr\u00e9sente une am\u00e9lioration consid\u00e9rable par rapport \u00e0 l’approche \u00ab manuelle \u00bb traditionnelle, qui n\u00e9cessite g\u00e9n\u00e9ralement que les ing\u00e9nieurs de donn\u00e9es, les data scientists et les analystes de donn\u00e9es travaillent tous dans la m\u00eame pi\u00e8ce pendant plusieurs jours. DataMa en a fait un projet d’une journ\u00e9e une fois les donn\u00e9es collect\u00e9es.<\/p>\n
Les A\/B tests regroupent une multitude de tests possibles, depuis le simple changement d’un seul CTA (Call To Action), jusqu’\u00e0 la refonte compl\u00e8te d’un tunnel d’inscription, de g\u00e9n\u00e9ration de leads ou d’achat. <\/p>\n
En prenant ce dernier cas, la refonte d’un tunnel de g\u00e9n\u00e9ration de leads, la premi\u00e8re \u00e9tape sera de dimensionner le test A\/B, qui est essentiellement une \u00e9quation \u00e0 quatre variables : la dur\u00e9e du test A\/B, le volume d’utilisateurs, la variation entre les deux versions et le degr\u00e9 de signification. <\/p>\n
Avant le test, il est utile de savoir combien de temps ex\u00e9cuter le test avant de choisir quelle version est la plus performante. Pour ce faire, il faut fixer les trois autres variables : le volume moyen d’utilisateurs sur la plateforme est connu, le degr\u00e9 de significativit\u00e9 est commun\u00e9ment fix\u00e9 \u00e0 95%, et l’hypoth\u00e8se de variation que l’on souhaite avoir doit \u00eatre faite pour d\u00e9terminer la dur\u00e9e du test A\/B (c’est-\u00e0-dire la p\u00e9riode pendant laquelle le test A\/B est actif pour que les r\u00e9sultats soient significatifs).<\/p>\n
Approche : Utiliser toutes les solutions de DataMa pour fournir une analyse approfondie<\/strong><\/h2>\nEquation de march\u00e9<\/strong><\/h3>\nPour simplifier l’analyse et la rendre facilement compr\u00e9hensible pour les parties prenantes, l’\u00e9quipe d’analyse a cr\u00e9\u00e9 une \u00e9quation de march\u00e9 \u00e0 l’aide d’indicateurs de performance cl\u00e9s (KPI) qui sont la norme en Web Analytics, tels que le nombre de prospects et le nombre d’utilisateurs atteignant l’\u00e9tape X du tunnel.<\/p>\n
L\u2019\u00e9quation de march\u00e9 qui en r\u00e9sulte ressemble \u00e0 un tunnel classique :<\/p>\n
<\/p>\n
<\/h2>\n <\/h2>\nDataset<\/strong><\/h3>\nLes donn\u00e9es de ce cas d’utilisation proviennent de Google Analytics, agr\u00e9g\u00e9es dans une table BigQuery. Les m\u00e9triques n\u00e9cessaires nous permettent de suivre le comportement des utilisateurs tout au long du tunnel de g\u00e9n\u00e9ration de leads. Des dimensions, telles que la cat\u00e9gorie de produit, l’appareil, la source de trafic et le pays, sont incluses pour identifier correctement de quel segment proviennent les variations.<\/p>\n
\nVoici un exemple de donn\u00e9es (anonymis\u00e9es) jeu de donn\u00e9es<\/a><\/p>\n<\/blockquote>\n <\/p>\n
Pour l’analyse du parcours du client, un cas d’utilisation sp\u00e9cifique doit \u00eatre r\u00e9alis\u00e9 avec une colonne \u00ab\u00a0Parcours\u00a0\u00bb, comprenant le parcours des utilisateurs (par exemple : \u00ab\u00a0Accueil-Etape1-Etape2-Etape3\u00a0\u00bb).<\/p>\n
\nVoici un exemple de donn\u00e9es (anonymis\u00e9es) pour Journey<\/a><\/p>\n<\/blockquote>\n<\/p>\n
Points \u00e0 retenir<\/strong><\/h2>\nConfirmation de la distribution al\u00e9atoire du trafic<\/strong><\/h3>\nL\u2019objectif est d\u2019identifier si le trafic est bien r\u00e9parti entre les versions A et B, sur tous les segments, pour \u00e9viter les biais dans l\u2019analyse. Comment pouvons-nous le faire ? ? Il y a parfois des exceptions qui sont faites, par exemple, les personnes qui vont acc\u00e9der au site par email peuvent avoir une redirection qui est syst\u00e9matiquement envoy\u00e9e vers la version A, il faut donc exclure ce segment de l’analyse pour interpr\u00e9ter les r\u00e9sultats. Dans DataMa, trouver ces incoh\u00e9rences est tr\u00e8s simple gr\u00e2ce au tableau \u00ab Simple Test Matrix \u00bb o\u00f9 vous pouvez regarder le degr\u00e9 de corr\u00e9lation dans toutes les dimensions entre elles :<\/p>\n
<\/p>\n
Le but est d\u2019avoir un niveau de corr\u00e9lation entre la dimension version et les autres dimensions proche de 0.<\/p>\n
Valider la signification du test <\/strong><\/h3>\nUne question qui se pose fr\u00e9quemment lors d’un test A\/B est de savoir quand arr\u00eater le test, c’est-\u00e0-dire quand les r\u00e9sultats sont suffisamment significatifs pour conserver la version A ou B. Il est important de garder \u00e0 l’esprit la dur\u00e9e th\u00e9orique choisie avant l’A\/B test et les contraintes op\u00e9rationnelles (cf. notre article de recherche sur ce sujet). <\/a><\/p>\nAvec DataMa Assess, le client avait un acc\u00e8s direct \u00e0 cette r\u00e9ponse de mani\u00e8re tr\u00e8s simple dans le graphique \u00ab Vue d\u00e9taill\u00e9e \u00bb, en utilisant des tests statistiques appropri\u00e9s (Bay\u00e9sien, Frequentist ou Bootstrap) et un niveau de significativit\u00e9 (g\u00e9n\u00e9ralement fix\u00e9 \u00e0 95 %).
Dans la plateforme, gr\u00e2ce \u00e0 la vue de signification cumul\u00e9e, le client a pu voir \u00e0 partir de quelle date le test commen\u00e7ait \u00e0 \u00eatre significatif :<\/p>\n
<\/p>\n
Identifier les sources d’am\u00e9lioration\/de r\u00e9gression<\/strong><\/h3>\nUne fois la meilleure version identifi\u00e9e, il reste \u00e0 voir sur quels segments cette version a \u00e9t\u00e9 la plus performante et si cela correspond au point de d\u00e9part. Par exemple, dans ce cas d’utilisation, le tunnel de g\u00e9n\u00e9ration de leads a \u00e9t\u00e9 repens\u00e9 pour am\u00e9liorer les performances mobiles. Nous souhaitons donc que le taux de conversion sur ces appareils soit consid\u00e9rablement augment\u00e9, alors que sur le bureau, nous nous attendons \u00e0 ce que la refonte n’ait aucun effet n\u00e9gatif. Les analyses montrent que ce n\u2019est pas le cas : nous pouvons voir que la refonte du tunnel a en fait conduit \u00e0 une baisse de performances statistiquement significative sur tous les types d\u2019appareils.<\/p>\n
<\/p>\n
Gr\u00e2ce au graphique Waterfall sur DataMa Compare, le client a \u00e9galement pu identifier l’\u00e9tape o\u00f9 il a constat\u00e9 des gains, et pour quels segments : On voit que la refonte a eu un impact sur le passage de l’\u00e9tape 1 \u00e0 l’\u00e9tape 2 dans tous les segments.<\/p>\n
<\/p>\n
<\/h2>\nEvolution du nouveau comportement des utilisateurs<\/strong><\/h3>\nEnfin, parce que le changement entre les deux versions entra\u00eenait un changement majeur dans le comportement des utilisateurs, le client a analys\u00e9 l’impact des changements entre les deux versions sur le parcours utilisateur. DataMa Journey permet d’acc\u00e9der \u00e0 une vue mettant en \u00e9vidence les changements de comportement entre deux versions, \u00e0 l’aide d’une vue sunburst : <\/p>\n
<\/p>\n
R\u00e9sultats<\/strong><\/h2>\nGr\u00e2ce \u00e0 la plateforme DataMa et aux services professionnels DataMa, le client a pu interpr\u00e9ter rapidement les r\u00e9sultats de son A\/B test et savoir pr\u00e9cis\u00e9ment quand et quelle version d\u00e9ployer, gr\u00e2ce \u00e0 une analyse approfondie de l’endroit o\u00f9 fonctionnait le tunnel et quelles \u00e9taient les prochains axes d’am\u00e9lioration.<\/p>\n
Le temps n\u00e9cessaire pour r\u00e9aliser cette analyse complexe repr\u00e9sente une am\u00e9lioration consid\u00e9rable par rapport \u00e0 l’approche \u00ab manuelle \u00bb traditionnelle, qui n\u00e9cessite g\u00e9n\u00e9ralement que les ing\u00e9nieurs de donn\u00e9es, les data scientists et les analystes de donn\u00e9es travaillent tous dans la m\u00eame pi\u00e8ce pendant plusieurs jours. DataMa en a fait un projet d’une journ\u00e9e une fois les donn\u00e9es collect\u00e9es.<\/p>\n
Pour simplifier l’analyse et la rendre facilement compr\u00e9hensible pour les parties prenantes, l’\u00e9quipe d’analyse a cr\u00e9\u00e9 une \u00e9quation de march\u00e9 \u00e0 l’aide d’indicateurs de performance cl\u00e9s (KPI) qui sont la norme en Web Analytics, tels que le nombre de prospects et le nombre d’utilisateurs atteignant l’\u00e9tape X du tunnel.<\/p>\n
L\u2019\u00e9quation de march\u00e9 qui en r\u00e9sulte ressemble \u00e0 un tunnel classique :<\/p>\n
<\/p>\n
<\/h2>\n <\/h2>\nDataset<\/strong><\/h3>\nLes donn\u00e9es de ce cas d’utilisation proviennent de Google Analytics, agr\u00e9g\u00e9es dans une table BigQuery. Les m\u00e9triques n\u00e9cessaires nous permettent de suivre le comportement des utilisateurs tout au long du tunnel de g\u00e9n\u00e9ration de leads. Des dimensions, telles que la cat\u00e9gorie de produit, l’appareil, la source de trafic et le pays, sont incluses pour identifier correctement de quel segment proviennent les variations.<\/p>\n
\nVoici un exemple de donn\u00e9es (anonymis\u00e9es) jeu de donn\u00e9es<\/a><\/p>\n<\/blockquote>\n <\/p>\n
Pour l’analyse du parcours du client, un cas d’utilisation sp\u00e9cifique doit \u00eatre r\u00e9alis\u00e9 avec une colonne \u00ab\u00a0Parcours\u00a0\u00bb, comprenant le parcours des utilisateurs (par exemple : \u00ab\u00a0Accueil-Etape1-Etape2-Etape3\u00a0\u00bb).<\/p>\n
\nVoici un exemple de donn\u00e9es (anonymis\u00e9es) pour Journey<\/a><\/p>\n<\/blockquote>\n<\/p>\n
Points \u00e0 retenir<\/strong><\/h2>\nConfirmation de la distribution al\u00e9atoire du trafic<\/strong><\/h3>\nL\u2019objectif est d\u2019identifier si le trafic est bien r\u00e9parti entre les versions A et B, sur tous les segments, pour \u00e9viter les biais dans l\u2019analyse. Comment pouvons-nous le faire ? ? Il y a parfois des exceptions qui sont faites, par exemple, les personnes qui vont acc\u00e9der au site par email peuvent avoir une redirection qui est syst\u00e9matiquement envoy\u00e9e vers la version A, il faut donc exclure ce segment de l’analyse pour interpr\u00e9ter les r\u00e9sultats. Dans DataMa, trouver ces incoh\u00e9rences est tr\u00e8s simple gr\u00e2ce au tableau \u00ab Simple Test Matrix \u00bb o\u00f9 vous pouvez regarder le degr\u00e9 de corr\u00e9lation dans toutes les dimensions entre elles :<\/p>\n
<\/p>\n
Le but est d\u2019avoir un niveau de corr\u00e9lation entre la dimension version et les autres dimensions proche de 0.<\/p>\n
Valider la signification du test <\/strong><\/h3>\nUne question qui se pose fr\u00e9quemment lors d’un test A\/B est de savoir quand arr\u00eater le test, c’est-\u00e0-dire quand les r\u00e9sultats sont suffisamment significatifs pour conserver la version A ou B. Il est important de garder \u00e0 l’esprit la dur\u00e9e th\u00e9orique choisie avant l’A\/B test et les contraintes op\u00e9rationnelles (cf. notre article de recherche sur ce sujet). <\/a><\/p>\nAvec DataMa Assess, le client avait un acc\u00e8s direct \u00e0 cette r\u00e9ponse de mani\u00e8re tr\u00e8s simple dans le graphique \u00ab Vue d\u00e9taill\u00e9e \u00bb, en utilisant des tests statistiques appropri\u00e9s (Bay\u00e9sien, Frequentist ou Bootstrap) et un niveau de significativit\u00e9 (g\u00e9n\u00e9ralement fix\u00e9 \u00e0 95 %).
Dans la plateforme, gr\u00e2ce \u00e0 la vue de signification cumul\u00e9e, le client a pu voir \u00e0 partir de quelle date le test commen\u00e7ait \u00e0 \u00eatre significatif :<\/p>\n
<\/p>\n
Identifier les sources d’am\u00e9lioration\/de r\u00e9gression<\/strong><\/h3>\nUne fois la meilleure version identifi\u00e9e, il reste \u00e0 voir sur quels segments cette version a \u00e9t\u00e9 la plus performante et si cela correspond au point de d\u00e9part. Par exemple, dans ce cas d’utilisation, le tunnel de g\u00e9n\u00e9ration de leads a \u00e9t\u00e9 repens\u00e9 pour am\u00e9liorer les performances mobiles. Nous souhaitons donc que le taux de conversion sur ces appareils soit consid\u00e9rablement augment\u00e9, alors que sur le bureau, nous nous attendons \u00e0 ce que la refonte n’ait aucun effet n\u00e9gatif. Les analyses montrent que ce n\u2019est pas le cas : nous pouvons voir que la refonte du tunnel a en fait conduit \u00e0 une baisse de performances statistiquement significative sur tous les types d\u2019appareils.<\/p>\n
<\/p>\n
Gr\u00e2ce au graphique Waterfall sur DataMa Compare, le client a \u00e9galement pu identifier l’\u00e9tape o\u00f9 il a constat\u00e9 des gains, et pour quels segments : On voit que la refonte a eu un impact sur le passage de l’\u00e9tape 1 \u00e0 l’\u00e9tape 2 dans tous les segments.<\/p>\n
<\/p>\n
<\/h2>\nEvolution du nouveau comportement des utilisateurs<\/strong><\/h3>\nEnfin, parce que le changement entre les deux versions entra\u00eenait un changement majeur dans le comportement des utilisateurs, le client a analys\u00e9 l’impact des changements entre les deux versions sur le parcours utilisateur. DataMa Journey permet d’acc\u00e9der \u00e0 une vue mettant en \u00e9vidence les changements de comportement entre deux versions, \u00e0 l’aide d’une vue sunburst : <\/p>\n
<\/p>\n
R\u00e9sultats<\/strong><\/h2>\nGr\u00e2ce \u00e0 la plateforme DataMa et aux services professionnels DataMa, le client a pu interpr\u00e9ter rapidement les r\u00e9sultats de son A\/B test et savoir pr\u00e9cis\u00e9ment quand et quelle version d\u00e9ployer, gr\u00e2ce \u00e0 une analyse approfondie de l’endroit o\u00f9 fonctionnait le tunnel et quelles \u00e9taient les prochains axes d’am\u00e9lioration.<\/p>\n
Le temps n\u00e9cessaire pour r\u00e9aliser cette analyse complexe repr\u00e9sente une am\u00e9lioration consid\u00e9rable par rapport \u00e0 l’approche \u00ab manuelle \u00bb traditionnelle, qui n\u00e9cessite g\u00e9n\u00e9ralement que les ing\u00e9nieurs de donn\u00e9es, les data scientists et les analystes de donn\u00e9es travaillent tous dans la m\u00eame pi\u00e8ce pendant plusieurs jours. DataMa en a fait un projet d’une journ\u00e9e une fois les donn\u00e9es collect\u00e9es.<\/p>\n
Dataset<\/strong><\/h3>\nLes donn\u00e9es de ce cas d’utilisation proviennent de Google Analytics, agr\u00e9g\u00e9es dans une table BigQuery. Les m\u00e9triques n\u00e9cessaires nous permettent de suivre le comportement des utilisateurs tout au long du tunnel de g\u00e9n\u00e9ration de leads. Des dimensions, telles que la cat\u00e9gorie de produit, l’appareil, la source de trafic et le pays, sont incluses pour identifier correctement de quel segment proviennent les variations.<\/p>\n
\nVoici un exemple de donn\u00e9es (anonymis\u00e9es) jeu de donn\u00e9es<\/a><\/p>\n<\/blockquote>\n <\/p>\n
Pour l’analyse du parcours du client, un cas d’utilisation sp\u00e9cifique doit \u00eatre r\u00e9alis\u00e9 avec une colonne \u00ab\u00a0Parcours\u00a0\u00bb, comprenant le parcours des utilisateurs (par exemple : \u00ab\u00a0Accueil-Etape1-Etape2-Etape3\u00a0\u00bb).<\/p>\n
\nVoici un exemple de donn\u00e9es (anonymis\u00e9es) pour Journey<\/a><\/p>\n<\/blockquote>\n<\/p>\n
Points \u00e0 retenir<\/strong><\/h2>\nConfirmation de la distribution al\u00e9atoire du trafic<\/strong><\/h3>\nL\u2019objectif est d\u2019identifier si le trafic est bien r\u00e9parti entre les versions A et B, sur tous les segments, pour \u00e9viter les biais dans l\u2019analyse. Comment pouvons-nous le faire ? ? Il y a parfois des exceptions qui sont faites, par exemple, les personnes qui vont acc\u00e9der au site par email peuvent avoir une redirection qui est syst\u00e9matiquement envoy\u00e9e vers la version A, il faut donc exclure ce segment de l’analyse pour interpr\u00e9ter les r\u00e9sultats. Dans DataMa, trouver ces incoh\u00e9rences est tr\u00e8s simple gr\u00e2ce au tableau \u00ab Simple Test Matrix \u00bb o\u00f9 vous pouvez regarder le degr\u00e9 de corr\u00e9lation dans toutes les dimensions entre elles :<\/p>\n
<\/p>\n
Le but est d\u2019avoir un niveau de corr\u00e9lation entre la dimension version et les autres dimensions proche de 0.<\/p>\n
Valider la signification du test <\/strong><\/h3>\nUne question qui se pose fr\u00e9quemment lors d’un test A\/B est de savoir quand arr\u00eater le test, c’est-\u00e0-dire quand les r\u00e9sultats sont suffisamment significatifs pour conserver la version A ou B. Il est important de garder \u00e0 l’esprit la dur\u00e9e th\u00e9orique choisie avant l’A\/B test et les contraintes op\u00e9rationnelles (cf. notre article de recherche sur ce sujet). <\/a><\/p>\nAvec DataMa Assess, le client avait un acc\u00e8s direct \u00e0 cette r\u00e9ponse de mani\u00e8re tr\u00e8s simple dans le graphique \u00ab Vue d\u00e9taill\u00e9e \u00bb, en utilisant des tests statistiques appropri\u00e9s (Bay\u00e9sien, Frequentist ou Bootstrap) et un niveau de significativit\u00e9 (g\u00e9n\u00e9ralement fix\u00e9 \u00e0 95 %).
Dans la plateforme, gr\u00e2ce \u00e0 la vue de signification cumul\u00e9e, le client a pu voir \u00e0 partir de quelle date le test commen\u00e7ait \u00e0 \u00eatre significatif :<\/p>\n
<\/p>\n
Identifier les sources d’am\u00e9lioration\/de r\u00e9gression<\/strong><\/h3>\nUne fois la meilleure version identifi\u00e9e, il reste \u00e0 voir sur quels segments cette version a \u00e9t\u00e9 la plus performante et si cela correspond au point de d\u00e9part. Par exemple, dans ce cas d’utilisation, le tunnel de g\u00e9n\u00e9ration de leads a \u00e9t\u00e9 repens\u00e9 pour am\u00e9liorer les performances mobiles. Nous souhaitons donc que le taux de conversion sur ces appareils soit consid\u00e9rablement augment\u00e9, alors que sur le bureau, nous nous attendons \u00e0 ce que la refonte n’ait aucun effet n\u00e9gatif. Les analyses montrent que ce n\u2019est pas le cas : nous pouvons voir que la refonte du tunnel a en fait conduit \u00e0 une baisse de performances statistiquement significative sur tous les types d\u2019appareils.<\/p>\n
<\/p>\n
Gr\u00e2ce au graphique Waterfall sur DataMa Compare, le client a \u00e9galement pu identifier l’\u00e9tape o\u00f9 il a constat\u00e9 des gains, et pour quels segments : On voit que la refonte a eu un impact sur le passage de l’\u00e9tape 1 \u00e0 l’\u00e9tape 2 dans tous les segments.<\/p>\n
<\/p>\n
<\/h2>\nEvolution du nouveau comportement des utilisateurs<\/strong><\/h3>\nEnfin, parce que le changement entre les deux versions entra\u00eenait un changement majeur dans le comportement des utilisateurs, le client a analys\u00e9 l’impact des changements entre les deux versions sur le parcours utilisateur. DataMa Journey permet d’acc\u00e9der \u00e0 une vue mettant en \u00e9vidence les changements de comportement entre deux versions, \u00e0 l’aide d’une vue sunburst : <\/p>\n
<\/p>\n
R\u00e9sultats<\/strong><\/h2>\nGr\u00e2ce \u00e0 la plateforme DataMa et aux services professionnels DataMa, le client a pu interpr\u00e9ter rapidement les r\u00e9sultats de son A\/B test et savoir pr\u00e9cis\u00e9ment quand et quelle version d\u00e9ployer, gr\u00e2ce \u00e0 une analyse approfondie de l’endroit o\u00f9 fonctionnait le tunnel et quelles \u00e9taient les prochains axes d’am\u00e9lioration.<\/p>\n
Le temps n\u00e9cessaire pour r\u00e9aliser cette analyse complexe repr\u00e9sente une am\u00e9lioration consid\u00e9rable par rapport \u00e0 l’approche \u00ab manuelle \u00bb traditionnelle, qui n\u00e9cessite g\u00e9n\u00e9ralement que les ing\u00e9nieurs de donn\u00e9es, les data scientists et les analystes de donn\u00e9es travaillent tous dans la m\u00eame pi\u00e8ce pendant plusieurs jours. DataMa en a fait un projet d’une journ\u00e9e une fois les donn\u00e9es collect\u00e9es.<\/p>\n
Voici un exemple de donn\u00e9es (anonymis\u00e9es) jeu de donn\u00e9es<\/a><\/p>\n<\/blockquote>\n Pour l’analyse du parcours du client, un cas d’utilisation sp\u00e9cifique doit \u00eatre r\u00e9alis\u00e9 avec une colonne \u00ab\u00a0Parcours\u00a0\u00bb, comprenant le parcours des utilisateurs (par exemple : \u00ab\u00a0Accueil-Etape1-Etape2-Etape3\u00a0\u00bb).<\/p>\n Voici un exemple de donn\u00e9es (anonymis\u00e9es) pour Journey<\/a><\/p>\n<\/blockquote>\n L\u2019objectif est d\u2019identifier si le trafic est bien r\u00e9parti entre les versions A et B, sur tous les segments, pour \u00e9viter les biais dans l\u2019analyse. Comment pouvons-nous le faire ? ? Il y a parfois des exceptions qui sont faites, par exemple, les personnes qui vont acc\u00e9der au site par email peuvent avoir une redirection qui est syst\u00e9matiquement envoy\u00e9e vers la version A, il faut donc exclure ce segment de l’analyse pour interpr\u00e9ter les r\u00e9sultats. Dans DataMa, trouver ces incoh\u00e9rences est tr\u00e8s simple gr\u00e2ce au tableau \u00ab Simple Test Matrix \u00bb o\u00f9 vous pouvez regarder le degr\u00e9 de corr\u00e9lation dans toutes les dimensions entre elles :<\/p>\n Le but est d\u2019avoir un niveau de corr\u00e9lation entre la dimension version et les autres dimensions proche de 0.<\/p>\n Une question qui se pose fr\u00e9quemment lors d’un test A\/B est de savoir quand arr\u00eater le test, c’est-\u00e0-dire quand les r\u00e9sultats sont suffisamment significatifs pour conserver la version A ou B. Il est important de garder \u00e0 l’esprit la dur\u00e9e th\u00e9orique choisie avant l’A\/B test et les contraintes op\u00e9rationnelles (cf. notre article de recherche sur ce sujet). <\/a><\/p>\n Avec DataMa Assess, le client avait un acc\u00e8s direct \u00e0 cette r\u00e9ponse de mani\u00e8re tr\u00e8s simple dans le graphique \u00ab Vue d\u00e9taill\u00e9e \u00bb, en utilisant des tests statistiques appropri\u00e9s (Bay\u00e9sien, Frequentist ou Bootstrap) et un niveau de significativit\u00e9 (g\u00e9n\u00e9ralement fix\u00e9 \u00e0 95 %). Une fois la meilleure version identifi\u00e9e, il reste \u00e0 voir sur quels segments cette version a \u00e9t\u00e9 la plus performante et si cela correspond au point de d\u00e9part. Par exemple, dans ce cas d’utilisation, le tunnel de g\u00e9n\u00e9ration de leads a \u00e9t\u00e9 repens\u00e9 pour am\u00e9liorer les performances mobiles. Nous souhaitons donc que le taux de conversion sur ces appareils soit consid\u00e9rablement augment\u00e9, alors que sur le bureau, nous nous attendons \u00e0 ce que la refonte n’ait aucun effet n\u00e9gatif. Les analyses montrent que ce n\u2019est pas le cas : nous pouvons voir que la refonte du tunnel a en fait conduit \u00e0 une baisse de performances statistiquement significative sur tous les types d\u2019appareils.<\/p>\n Gr\u00e2ce au graphique Waterfall sur DataMa Compare, le client a \u00e9galement pu identifier l’\u00e9tape o\u00f9 il a constat\u00e9 des gains, et pour quels segments : On voit que la refonte a eu un impact sur le passage de l’\u00e9tape 1 \u00e0 l’\u00e9tape 2 dans tous les segments.<\/p>\n Enfin, parce que le changement entre les deux versions entra\u00eenait un changement majeur dans le comportement des utilisateurs, le client a analys\u00e9 l’impact des changements entre les deux versions sur le parcours utilisateur. DataMa Journey permet d’acc\u00e9der \u00e0 une vue mettant en \u00e9vidence les changements de comportement entre deux versions, \u00e0 l’aide d’une vue sunburst : <\/p>\n Gr\u00e2ce \u00e0 la plateforme DataMa et aux services professionnels DataMa, le client a pu interpr\u00e9ter rapidement les r\u00e9sultats de son A\/B test et savoir pr\u00e9cis\u00e9ment quand et quelle version d\u00e9ployer, gr\u00e2ce \u00e0 une analyse approfondie de l’endroit o\u00f9 fonctionnait le tunnel et quelles \u00e9taient les prochains axes d’am\u00e9lioration.<\/p>\n Le temps n\u00e9cessaire pour r\u00e9aliser cette analyse complexe repr\u00e9sente une am\u00e9lioration consid\u00e9rable par rapport \u00e0 l’approche \u00ab manuelle \u00bb traditionnelle, qui n\u00e9cessite g\u00e9n\u00e9ralement que les ing\u00e9nieurs de donn\u00e9es, les data scientists et les analystes de donn\u00e9es travaillent tous dans la m\u00eame pi\u00e8ce pendant plusieurs jours. DataMa en a fait un projet d’une journ\u00e9e une fois les donn\u00e9es collect\u00e9es.<\/p>\n<\/p>\n\n
<\/p>\nPoints \u00e0 retenir<\/strong><\/h2>\n
Confirmation de la distribution al\u00e9atoire du trafic<\/strong><\/h3>\n
<\/p>\nValider la signification du test <\/strong><\/h3>\n
Dans la plateforme, gr\u00e2ce \u00e0 la vue de signification cumul\u00e9e, le client a pu voir \u00e0 partir de quelle date le test commen\u00e7ait \u00e0 \u00eatre significatif :<\/p>\n<\/p>\nIdentifier les sources d’am\u00e9lioration\/de r\u00e9gression<\/strong><\/h3>\n
<\/p>\n<\/p>\n <\/h2>\n
Evolution du nouveau comportement des utilisateurs<\/strong><\/h3>\n
<\/p>\nR\u00e9sultats<\/strong><\/h2>\n