Comment mettre en œuvre la technologie d'apprentissage automatique dans votre entreprise

Selon Gartner, l'apprentissage automatique est à son apogée. Engagée dans le développement et la mise en œuvre de solutions dans le domaine de l'analyse des données et du machine learning, notre équipe DATA4 a acquis une expérience des étapes clés et des écueils, que je partagerai dans l'article.

Considérez les étapes de mise en œuvre:

1. Énoncé du problème

Toute technologie doit résoudre des problèmes commerciaux spécifiques. Un article séparé sera nécessaire pour décrire toutes les applications de l'apprentissage automatique, mais plusieurs domaines principaux peuvent être distingués. Il s'agit de l'analyse prédictive (notation, sortie, détermination de la meilleure offre, produits associés, etc.), de l'analyse de texte (avis sur Internet, modération de contenu, sujets de références, etc.), de l'analyse vocale et de l'analyse vidéo.

Pour une mise en œuvre réussie, il est nécessaire de déterminer quelle activité KPI nous améliorons, comment et par quelle métrique nous mesurons le résultat.

2. Collecte, stockage et prétraitement des données

Lorsque la tâche est définie, il est nécessaire de créer un exemple de formation (malheureusement, la plupart des tâches commerciales sont résolues en "apprenant avec un enseignant"). D'après notre expérience, l'échantillonnage est l'étape la plus longue. Pour le réduire, l'entreprise doit avoir une culture de travail avec les données.

En plus de collecter des données, il est nécessaire de les effacer et de déterminer les caractéristiques qui affectent le résultat final.

3. Formation à l'algorithme

Le développement de la partie algorithmique est l'étape la plus intéressante, mais aussi la plus rapide. Cela prend généralement de plusieurs heures à plusieurs semaines de travail.

4. Développement du cerclage de haut niveau

La solution doit être claire non seulement pour le spécialiste de l'analyse des données, mais aussi pour le programmeur ou l'administrateur qui mettra en œuvre cette solution. Et s'il s'agit d'une solution très chargée ou d'une solution avec des exigences de sécurité accrues, vous devrez peut-être la réécrire de Python dans une autre langue.

5. Intégration

En règle générale, cela prend beaucoup de temps en raison de la nécessité de communications et d'approbations supplémentaires. Cette étape est mieux réalisée par les forces internes de l'équipe du client.

6. Collecte des commentaires, ajustement du modèle

Le monde est en constante évolution, toutes les fonctionnalités ne peuvent pas être prises en compte au début du développement. La collecte de commentaires permet de recycler les modèles en temps opportun. Idéalement, à ce stade, le cycle recommence, mais avec moins de temps.

Caractéristiques des solutions basées sur l'apprentissage automatique:

1. L'apprentissage automatique est basé sur des statistiques, et lorsque l'algorithme donne une prédiction incorrecte - c'est normal. Il vaut mieux expliquer immédiatement au client professionnel par quelles mesures la qualité est évaluée, ce que ces mesures signifient (tout le monde ne sait pas ce que sont la mesure F et Roc-Auc), et qu'en donnant à la main 3 exemples et en regardant le résultat est intéressant, mais pas statistiquement significatif .
2. Résultat mal prévu. Les données ne contiennent pas toujours un signal utile et il est impossible de prédire avec précision le résultat à l'avance. Nous prenons généralement des données, construisons des modèles simples, et déjà sur la base de ceux-ci, nous disons quel type de résultat il est possible d'atteindre. Ce problème ne s'applique pas à certaines tâches classiques (reconnaissance faciale, reconnaissance vocale, etc.).
3. L'apprentissage automatique est une technologie du dernier kilomètre, pas une solution miracle à tous les problèmes. Si les vendeurs ne prennent pas le téléphone d'un client et ne rappellent pas les clients, l'introduction de l'analyse vocale n'aura que très peu de sens.
4. La plupart du temps est consacré à l'intégration, à la collecte et au traitement des données, et non à la formation de l'algorithme (à de rares exceptions près).

Options pour travailler avec des développeurs tiers:

1. Paiement à l'heure. Convient uniquement pour le prototypage rapide et MVP. Mais ne convient pas aux solutions nécessitant une assistance supplémentaire.
2. Développement de contrat. La propriété intellectuelle passe au client, le support est possible, mais les savoirs traditionnels doivent être soigneusement prescrits.
3. Paiement d'une efficacité prouvée. D'après l'expérience personnelle de DATA4, un cas trop compliqué en termes d'approbations, qui n'est pratiquement pas appliqué dans la pratique.

Alternativement, vous pouvez utiliser des plates-formes prêtes à l'emploi d'IBM, Microsoft, etc., mais en pratique, cela coûte cher avec une utilisation constante, il n'est pas toujours possible de mettre en œuvre un cas spécifique en utilisant des outils prêts à l'emploi, et il y a des restrictions sur les données qui peuvent y être envoyées.

Conclusion

Les technologies d'apprentissage automatique augmentent l'efficacité des entreprises, mais nous devons nous rappeler que pour prendre une décision complète, il ne suffit pas de former l'algorithme, mais il est nécessaire de préparer les données et d'intégrer la solution aux systèmes internes. Et préparez-vous à ce que le résultat dépende de la qualité de l'échantillon de formation.