Tests A / B, pipeline et commerce de détail: trimestre de marque pour les Big Data de GeekBrains et X5 Retail Group



Les technologies Big Data sont désormais appliquées partout - dans l'industrie, la médecine, les affaires et le divertissement. Ainsi, sans l'analyse des mégadonnées, les grands détaillants ne pourront pas travailler normalement, les ventes sur Amazon chuteront, ils ne pourront pas prédire la météo pendant plusieurs jours, semaines et mois avant les météorologues. Il est logique que les experts en big data soient désormais très recherchés et que la demande ne cesse de croître.

GeekBrains prépare des représentants de ce domaine, en essayant de fournir aux étudiants à la fois des connaissances théoriques et d'enseigner des exemples, pour lesquels des experts expérimentés sont impliqués. Cette année, le Big Data Department of Analytics de la GeekUniversity Online University et le plus grand détaillant en Russie, X5 Retail Group, sont devenus partenaires. Les spécialistes de l'entreprise, possédant des connaissances et une expérience étendues, ont contribué à créer un cours de marque, dont les étudiants reçoivent à la fois une formation théorique et une expérience pratique pendant la formation.

Nous avons discuté avec Valery Babushkin, directeur de la modélisation et de l'analyse des données chez X5 Retail Group. Il est l'un des meilleurs data scientists au monde (30ème au classement mondial des spécialistes du machine learning). Avec d'autres enseignants, Valery explique aux étudiants de GeekBrains les tests A / B, les statistiques mathématiques sur lesquelles ces méthodes sont basées, ainsi que les pratiques modernes de calcul et les caractéristiques de la mise en œuvre des tests A / B dans la vente au détail hors ligne.

Pourquoi avons-nous besoin de tests A / B?


C'est l'une des meilleures méthodes pour trouver les meilleurs moyens d'améliorer la conversion, les performances économiques et les facteurs de comportement. Il existe d'autres moyens, mais ils sont plus chers et complexes. Les principaux avantages des tests A / B sont leur prix relativement bas et leur prix abordable pour les entreprises de toutes tailles.

À propos des tests A / B, nous pouvons dire que c'est l'un des moyens les plus importants de rechercher et de prendre des décisions dans les affaires, décisions dont dépendent à la fois le profit et le développement de divers produits d'une entreprise. Les tests permettent de prendre des décisions basées non seulement sur des théories et des hypothèses, mais également sur des connaissances pratiques sur la manière dont des changements spécifiques modifient l'interaction des clients avec le réseau.

Il est important de se rappeler que dans le commerce de détail, vous devez tout tester - campagnes marketing, mailings SMS, tests des mailings eux-mêmes, l'emplacement des produits sur les étagères et les étagères elles-mêmes dans les salles de marché. Si nous parlons de la boutique en ligne, vous pouvez ici tester l'emplacement des éléments, la conception, les inscriptions et les textes.

Tests A / B - un outil qui aide une entreprise, par exemple un détaillant, à toujours être compétitif, à ressentir les changements à temps et à se changer. Cela permet à l'entreprise d'être aussi efficace que possible, en maximisant les bénéfices.

Quelles sont les nuances de ces méthodes?


L'essentiel - il devrait y avoir un objectif ou un problème sur lequel les tests seront basés. Par exemple, le problème est un petit nombre de clients dans un point de vente ou une boutique en ligne. L'objectif est d'augmenter l'afflux de clients. Hypothèse - si les cartes de produits dans une boutique en ligne sont agrandies et que les photos sont plus lumineuses, il y aura plus d'achats. Ensuite, un test A / B est effectué, dont le résultat est une évaluation des changements. Une fois les résultats de tous les tests obtenus, vous pouvez commencer à élaborer un plan d'action pour modifier le site.

Il n'est pas recommandé d'effectuer des tests avec des processus qui se chevauchent, sinon les résultats seront plus difficiles à évaluer. La première est recommandée pour effectuer des tests sur les objectifs les plus prioritaires et formuler des hypothèses.

Le test devrait durer suffisamment longtemps pour que les résultats puissent être considérés comme fiables. Le montant dépend, bien sûr, du test lui-même. Ainsi, à la veille du nouvel an, le trafic de la plupart des magasins en ligne augmente. Si avant cela, des modifications ont été apportées à la conception de la boutique en ligne, alors un test à court terme montrera que tout va bien, les changements sont réussis, le trafic augmente. Mais non, car peu importe ce que vous faites avant les vacances, le trafic augmentera, le test ne pourra pas être effectué avant le nouvel an ou immédiatement après, il doit être suffisamment long pour révéler toutes les corrélations.

L'importance de la connexion correcte entre l'objectif et l'indicateur mesuré. Par exemple, en modifiant la conception du même site Web d'une boutique en ligne, l'entreprise constate une augmentation du nombre de visiteurs ou de clients et en est satisfaite. Mais en fait, la taille du chèque moyen peut être plus petite que d'habitude, de sorte que le revenu total deviendra encore plus faible. Bien sûr, cela ne peut pas être qualifié de résultat positif. Le problème est que l'entreprise n'a pas vérifié simultanément la combinaison de l'augmentation du nombre de visiteurs - augmentation du nombre d'achats - dynamique de la taille du chèque moyen.

Les tests ne concernent que les boutiques en ligne?


Pas du tout. Dans la vente au détail hors ligne, une méthode populaire consiste à implémenter un pipeline complet pour tester des hypothèses hors ligne. Il s'agit de la construction du processus, dans lequel les risques de sélection incorrecte des groupes pour l'expérience sont réduits, le rapport optimal du nombre de magasins, du temps pilote et de la taille de l'effet estimé est sélectionné. C'est aussi une réutilisation et une amélioration continue des méthodologies de post-analyse des effets. La méthode est nécessaire pour réduire la probabilité d'erreurs de fausse acceptation et d'omission de l'effet, ainsi que pour augmenter la sensibilité, car même un petit effet à grande échelle est d'une grande importance. Par conséquent, vous devez être en mesure d'identifier même les changements les plus faibles, de minimiser les risques - y compris les conclusions incorrectes sur les résultats de l'expérience.

Vente au détail, Big Data et cas réels


L'année dernière, les experts du X5 Retail Group ont évalué la dynamique des volumes de vente des produits les plus populaires parmi les fans de la Coupe du monde 2018. Il n'y a pas eu de surprise, mais les statistiques étaient toujours intéressantes.

Ainsi, le "best-seller numéro 1" était l'eau. Dans les villes qui ont pris le mundial, les ventes d'eau ont augmenté d'environ 46%, Sotchi s'est avéré être le leader, où le chiffre d'affaires a augmenté de 87%. Les jours de match, le chiffre maximum a été enregistré à Saransk - ici les ventes ont augmenté de 160% par rapport aux jours ordinaires.

En plus de l'eau, les fans ont acheté de la bière. Du 14 juin au 15 juillet dans les villes où les matchs ont eu lieu, le chiffre d'affaires de la bière a augmenté en moyenne de 31,8%. Sotchi est également devenu un leader - ici, ils ont acheté de la bière 64% plus activement. Mais à Saint-Pétersbourg, la croissance a été faible - seulement 5,6%. Les jours de match à Saransk, les ventes de bière ont augmenté de 128%.

Des études ont été menées sur d'autres produits. Les données obtenues pendant les jours de pointe de consommation de produits permettent à l'avenir de prédire plus précisément la demande, en tenant compte des facteurs d'événement. Une prévision précise permet d'anticiper les attentes des clients.

Lors des tests, X5 Retail Group a utilisé deux méthodes:
Modèles structurels de séries chronologiques bayésiennes avec estimations des différences cumulatives;
Analyse de régression avec une estimation du biais de distribution d'erreur avant et pendant le championnat.

Quelles sont les autres utilisations du Big Data Retail?

  • Il y a beaucoup de méthodes et de technologies, de ce que l'on peut appeler à la main, ce sont:
  • Prévision de la demande;
  • Optimisation de la matrice d'assortiment;
  • Vision par ordinateur pour détecter les vides sur les étagères et détecter une file d'attente émergente;
  • Promo prévisionnelle.


Manque de spécialistes


La demande d'experts en Big Data est en constante augmentation. Ainsi, en 2018, le nombre de postes vacants associés au big data a été multiplié par 7 par rapport à 2015. Au premier semestre 2019, la demande de spécialistes a dépassé 65% de la demande pour l'ensemble de 2018.

Les grandes entreprises ont particulièrement besoin de services d'analystes Big Data. Par exemple, dans Mail.ru Group, ils sont nécessaires dans tout projet où les données textuelles, le contenu multimédia sont traités, la synthèse et l'analyse de la parole sont effectuées (ce sont, tout d'abord, les services cloud, les réseaux sociaux, les jeux, etc.). Le nombre de postes vacants au cours des deux dernières années dans l'entreprise a triplé. Au cours des huit premiers mois de cette année, Mail.ru a embauché autant de spécialistes du Big Data que l'année dernière. À Ozon, la division Data Science a triplé au cours des deux dernières années. À Megafon, la situation est similaire - l'équipe engagée dans l'analyse des données s'est agrandie plusieurs fois au cours des 2,5 dernières années.

Il ne fait aucun doute qu'à l'avenir, la demande de représentants de spécialités associées au Big Data augmentera encore. Donc, s'il y a un intérêt dans ce domaine, cela vaut la peine d'essayer.

Source: https://habr.com/ru/post/fr478622/


All Articles