La science des données a commencé à venir non seulement pour les grandes entreprises, mais aussi pour les petites et même les startups. Cependant, très souvent, les cadres supérieurs ne comprennent pas ce qui est requis pour une application réussie. Beaucoup de gens pensent qu'un data scientist en un mois résoudra tous les problèmes de l'entreprise, et l'intelligence artificielle au clic commencera à fonctionner parfaitement dans tous les départements. Ce n'est malheureusement pas le cas. Je m'appelle Ivan Serov et dans ce post, je vais vous expliquer pourquoi vous devez commencer à créer un département DS et quelles difficultés cela implique.
Gestion des attentes
L'un des plus importants dans la création d'un département est de définir immédiatement les attentes et les KPI. Avec DS, comme avec toute autre innovation, vous devez parcourir tout le cycle, qui commencera par des pertes opérationnelles. Dans le meilleur des cas, les coûts d'architecture et de spécialistes peuvent être récupérés en six mois, et plus souvent en un an, deux ou trois, selon la taille de l'entreprise. Il faut s'y préparer et ne pas tout abandonner après quelques échecs. Souvent, les cadres supérieurs ferment le département après un an, car il n'a pas réussi à réaliser de profit. Pour cette raison, la confiance dans la DS est perdue. Ce n'est qu'en fixant les attentes et les objectifs nécessaires (de préférence par
SMART ) qu'un département performant peut être créé.
Commencez petit
Il est préférable de commencer par un soi-disant projet de preuve de concept - il n'est pas très compliqué et de courte durée, mais il peut apporter des avantages commerciaux. Par exemple, augmentez les revenus de 2% grâce au système de recommandation. N'essayez pas de créer un ensemble de 5 réseaux de neurones personnalisés et travaillez dessus toute l'année. Par exemple, même pour les projets de classification de texte, vous pouvez commencer avec des algorithmes simples (comme un sac de mots) et déjà gagner en croissance. En conséquence, ce projet pilote sera le point de départ d'un développement ultérieur et permettra à la direction de comprendre que l'argent va à des choses utiles et que DS doit être développé. Cela vous donnera le temps de travailler sur des choses plus complexes. En l'absence de compétences, il est logique qu'un projet pilote engage une équipe externe de consultants DS. Ils peuvent aider à réaliser vos désirs avec une assez bonne qualité, ou à comprendre quels projets vous pouvez faire dans votre industrie, par où commencer et comment vous devez construire une nouvelle stratégie d'IA.
Recueillir des données
Ici, tout est simple et compliqué à la fois: idéalement, l'entreprise devrait utiliser toutes les données dont elle dispose. Par exemple, si vous êtes un détaillant en ligne, vous disposez au moins de données sur les ventes de produits spécifiques, le comportement des clients sur le site et les mailings marketing. Déjà, vous pouvez créer de nombreux modèles, par exemple, un système de messagerie personnel.
En fait, la collecte de toutes les données de l'entreprise dans une seule base de données est souvent un gros problème en raison de la différence de sources, du manque d'interaction claire entre les services ou même du manque de spécialistes en BI dans l'entreprise. Les organisations qui ont toutes les données stockées dans Excel doivent d'abord commencer à les collecter dans une base de données (SQL), puis ne penser qu'à DS.
Toutes les données disponibles doivent être collectées sous la forme dans laquelle il sera pratique pour les analystes et les scientifiques des données de les prendre (le plus souvent c'est SQL). Il est nécessaire de convenir à l'avance avec le département BI de la forme sous laquelle vous souhaitez recevoir les données, les traiter et les utiliser en production.
Avec une petite quantité de données, vous pouvez l'acheter auprès de sociétés tierces. Par exemple, un télécom: connectez ces données par numéro de téléphone avec les vôtres et ainsi les enrichir. Mais dans chacun de ces cas, il est nécessaire de calculer s'il y a un avantage à cela.
Trouver des analystes
Il est important que l'entreprise disposait déjà d'un département analytique au moment de la création du département DS. Ce sont ces gars-là qui aideront les scientifiques à trouver les données, leur diront ce qu'elles signifient, comment collecter correctement les variables nécessaires, et bien plus encore. L'analytique est la première étape pour faire évoluer une entreprise vers une approche décisionnelle très axée sur les données (c'est-à-dire lorsque toutes les décisions de l'entreprise sont basées sur les données reçues et non sur le désir de la direction). Ils aideront à tirer parti des données sans utiliser de modèles, et les rapports aideront la direction à prendre les bonnes décisions. De plus, à l'avenir, ce sont des analystes qui surveilleront l'état de tous les modèles DS et prépareront des rapports en fonction des résultats.
Prendre une équipe
De nombreux articles ont déjà été écrits sur cet article, je vais seulement essayer de résumer ce qui a déjà été dit. Ainsi, une bonne équipe DS se compose le plus souvent de:
- Chef de projet - gère le projet, est responsable de toute la partie commerciale;
- Data Scientist - construit des modèles;
- Ingénieur de données - collecte des données et prépare les pipelines de production;
- Développeur - présente une solution DS.
Tous les rôles sont très variables et peuvent varier selon vos envies. Par exemple, parfois une équipe peut toujours avoir un analyste d'entreprise, parfois il peut y avoir plusieurs scientifiques des données à la fois, parfois un ingénieur de données et un développeur peuvent être une seule personne. Il existe de nombreuses options d'équipe et vous devez vous appuyer sur vos besoins. Ou essayez plusieurs options et choisissez la meilleure.
En plus de l'équipe standard, pour créer un département à partir de zéro, vous avez besoin non seulement de bons spécialistes de la liste ci-dessus, mais aussi d'un évangéliste qui expliquera à tout le monde ce qu'est DS et quels peuvent être ses avantages pour les autres départements - le même Chief AI Officer / Chief Data Officer / Chief Digital Officer (choisissez votre propre nom). Il est important de mentionner que si vous embauchez un data scientist et que vous lui lancez des tâches, ainsi que l'analyste, l'architecte et le développeur, vous ne devez pas vous attendre à un résultat rapide.En outre, cela peut priver cette personne de motivation et l'entreprise aura un département performant à l'avenir.
Si l'entreprise est grande et qu'il existe de nombreuses opportunités pour le développement du Big Data, vous avez également besoin de Data Architect, qui configurera l'architecture, la collecte de données multithread et déploiera Hadoop ou Spark (systèmes de traitement de tableaux de données volumineux), avec lesquels les scientifiques de l'entreprise travailleront déjà. .
N'oubliez pas les communications internes et la formation
Après le projet pilote, il est nécessaire de développer activement l'équipe. Une entreprise doit organiser au moins deux types de formation:
Pour les scientifiques des données, cela peut être des ateliers sur divers sujets, des réunions hebdomadaires, des hackathons, des master classes. Aussi, vous devriez faire attention à acheter des cours en ligne pour l'équipe (par exemple, avec coursera) et peut-être même les mettre en KPI. Cela aidera à maintenir l'équipe à jour dans un domaine en développement rapide et à améliorer l'interaction interne.
Pour les chefs de projet et les cadres supérieurs, il peut également s'agir d'ateliers sous la forme d'analyses de rentabilisation ou de stratégies d'IA d'entreprise, ou, par exemple, des cours de base pour comprendre le machine learning et les technologies de deep learning (ce qui peut et ne peut pas être fait, les bases technologie). Cela ne fera qu'aider la direction à générer les attentes de la DS.
De plus, très probablement, même avant la création du département DS, l'entreprise a déjà des personnes intéressées - il peut s'agir de développeurs qui ont suivi des cours DS ou de gens d'affaires qui souhaitent devenir chefs de projet DS - ils devraient être attirés par le département et aider à développer . Par exemple, après avoir formé un développeur aux méthodes d'apprentissage automatique, vous pouvez obtenir un bon spécialiste motivé qui connaît la structure interne de l'entreprise et est moins cher que le spécialiste des données de marché moyen, qui a également besoin de temps pour le comprendre.
Les communications externes sont importantes
Cet article est souvent oublié, mais il n'est pas moins important que les autres. Le marché des spécialistes de l'apprentissage automatique est en grande pénurie de personnel (tout a commencé à s'améliorer ces dernières années, mais quand même), tout bon data scientist comprend sa valeur et choisit plutôt l'entreprise dans laquelle il veut travailler - par conséquent, offrir un gros salaire ne suffit plus maintenant, besoin de s'impliquer dans les projets. Pour ce faire, vous devez développer vos communications externes avec compétence - travailler avec les médias, les leaders d'opinion, la communauté, parler des projets mis en œuvre, rédiger des articles dans diverses publications thématiques, prendre la parole lors de conférences, parrainer des événements industriels comme les hackathons, etc. - ce n'est qu'une petite partie de cela que faire pour attirer des talents dans l'entreprise.
C'est tout, en conclusion, je dirai simplement que je n'ai pas spécifiquement mentionné les difficultés dans le processus même du département Data Science, mais seulement dit ce qu'il fallait pour le créer. Si vous avez quelque chose à ajouter, bienvenue aux commentaires.