Accélérer la détection d’anomalies avec Datama

Dans un monde digital en perpétuel évolution, la quantité de données à analyser ne cesse d’augmenter. Il devient long et fastidieux de faire l’analyse quotidienne de chacune des étapes de votre tunnel de conversion, ou bien d’analyser l’acquisition de trafic de vos différentes campagnes et identifier les anomalies qu’il faut corriger ou des opportunités qu’il faut saisir le plus rapidement possible. Ce processus prend du temps si bien qu’on détecte certains problèmes seulement plusieurs jours après qu’ils ne soient apparus.

Découvrons ensemble comment DataMa automatise la détection d’anomalies, en vous notifiant du ou des problèmes survenus la veille et en vous expliquant quelles en sont les causes.

Pourquoi détecter des anomalies ?

La détection d’anomalie dans le suivi journalier de KPI business a deux objectifs principaux:

1. Le premier est l’identification de problèmes techniques, en particulier dans la collecte et la structure de la donnée, causant une anormalité “artificielle” dans les KPIs. Bien que n’ayant souvent pas d’impact direct sur le business à court terme, ces anomalies sont à corriger rapidement, pour garantir la fiabilité des datas, et des décisions et systèmes qui en dépendent (BI, reportings, mais aussi algos de data science etc).

Par exemple une implémentation d’un tag GTM à mal été faite entraînant une chute libre de vos pageviews, si vous ne passez vos jours à suivre tous vos indicateurs sur Google Analytics, vous ne détectez le problème que plusieurs jours après si ce n’est plusieurs semaines.

Le second est l’identification de problèmes ou d’opportunités business, qui doivent entraîner des actions métiers, côté produit ou marketing. Quand on identifie des anomalies à la baisse, on cherche à trouver des actions correctives, et quand l’anomalie est à la hausse, c’est souvent un indicateur d’opportunités à ne pas manquer.

Par exemple, le fait que le nombre de sessions sur un site ecommerce baisse de manière anormale par rapport à la tendance saisonnière peut être un indicateur d’actions d’acquisition agressives de la part de la concurrence, auxquelles il faut probablement répondre rapidement.

Le problème c’est que l’identification et l’explication de ces anomalies est rarement faite de manière systématique quand elle est manuelle : les KPIs à monitorer sont nombreux, leur volatilité est inégale, et les ressources humaines sont rares.

Une détection automatisable

DataMa propose, dans son module DataMa Impact, une détection d’anomalie basée sur deux méthodes au choix:

Une méthode de “moving window average”, ou moyenne pondérée glissante sur les points précédents, prenant en compte le poids de chaque jour dans le calcul de ratio et la dispersion des différents points
Une méthode de “forecast” ou prédiction prenant en compte les composantes saisonnières de vos KPIs, basée sur la donnée historique.

Vous pouvez choisir de regarder un KPI en particulier, ou choisir l’option « Check all metric relation steps » qui fera l’analyse de toutes les indicateurs de votre “équation de marché” que vous aurez définie en amont : dans la sélection des indicateurs que vous pouvez regarder, ceux présentant des anomalies seront mis en avant :

Dans un premier temps, il est possible de chercher toutes les anomalies sur une période donnée et d’affiner les paramètres qui déterminent quelles données doivent être considérées comme une anomalie ou non. Les paramètres disponibles sont :

L’intervalle de confiance qui est de base fixé à 95%, plus il sera grand plus la fenêtre de valeur dite « normale » sera grande.

Le nombre de point de la « moving window » qui servent de base pour estimer la fenêtre, plus il y aura de points, plus stable sera la fenêtre de détection d’anomalie.

Une fois arrivé à ce stade, il est intéressant de mettre en place un suivi quotidien automatique, c’est pourquoi vous pouvez choisir l’option « latest point only » qui fera l’analyse uniquement sur la dernière valeur à disposition. Prenons l’exemple suivant où une anomalie à été détectée sur l’étape du taux de paiement par mise au panier :

Une explication des causes de l’anomalie

La détection des anomalies n’est que la première étape de l’analyse. DataMa vous proposera juste en dessous de ce premier graphique l’analyse la plus pertinente qu’il peut trouver en fonction des segments/dimensions qu’il a à sa disposition dans la donnée source.

Ainsi dans l’exemple précédent, on a le point clé suivant (il peut y en avoir plusieurs selon les cas)

“Comparé à la veille, Checkout/Basket du 31/08/2021 a baissé de -17.8% (de 8.19% à 6.73%). En décomposant par Channel:

Il y a des variations négatives de performance qui expliquent 100% de l’écart. En particulier, le Social qui a baissé de -100% (de 0.058 à 0), ce qui est nettement au-dessus (4.8 fois plus élevé) de la variation moyenne.“ “

Puis le graphique suivant explique la potentielle cause de l’anomalie en termes d’impact sur le KPI.

L’automatisation de la détection d’anomalie

Nous avons vu ce que cela donne pour une journée, maintenant DataMa vous propose l’envoie automatique de notifications par mail ou sur Slack.

Pour cela votre “workbook” doit être connecté à une source de donnée live, c’est-à-dire à une source qui se mettra à jour aussi régulièrement que vous voudrez la notification (quotidien, hebdomadaire …). Cette source peut être une Gsheet, une requête Bigquery ou bien directement un Google Analytics connecté au module DataMa Prep.

Une fois le workbook paramétré et enregistré, vous avez alors l’option d’exporter ces insights, en choisissant le mode d’envoi (Slack, email …), la fréquence, et potentiellement le choix de ne recevoir le message qu’en cas d’anomalie effective (« Send only when anomaly found »).

Note : dans le cas ou vous avez choisi l’envoi d’une notification Slack, il faut penser à ajouter notre bot via la commande « /invite @datama_bot ».

Et voilà, chaque jour où il y aura une anomalie, vous serez notifié.