Apprentissage automatique pour les gestionnaires: le sacrement de la séparation

Présentation

Une fois de plus, en travaillant avec une entreprise réalisant un projet lié à l'apprentissage automatique (ML), j'ai remarqué que les managers utilisent des termes du domaine ML sans comprendre leur essence. Bien que les mots soient prononcés grammaticalement correctement et aux bons endroits des phrases, leur signification n'est pas plus claire pour eux que la nomination de sépules , qui, comme vous le savez, sont utilisés en sépularie pour séparer. En même temps, il semble aux chefs d'équipe et aux simples développeurs qu'ils parlent le même langage avec la direction, ce qui conduit à des situations conflictuelles qui compliquent le travail sur le projet. Ainsi, cet article est consacré aux techniques de facilitation (du latin: simplification ou facilitation) de la communication des développeurs avec la direction ou comment expliquer simplement et clairement les termes de base du ML, conduisant ainsi votre projet à la réussite. Si ce sujet est proche de vous, bienvenue chez cat.

Un esthète à la note: Sepuls, sepulcarius et sepulation sont les termes utilisés par l'ingénieux Stanislav Lem dans le 14e voyage d'Iyon le Pacifique.

Début du projet

Le projet ML devrait commencer par la légitimation de la métrique de validation. Cela semble effrayant, non? Commençons l'explication. La légitimation (en russe du latin c'est légalisation) vient simplement d'un accord des parties, fixé par écrit et approuvé - il est souhaitable, bien sûr, également par écrit. Les parties sont à la fois le donateur et la direction du projet, ainsi que ses exécuteurs.

Passons maintenant à la validation . Le programmeur ML a généralement de l'expérience en écriture de code de validation, et lors du traçage, il voit le vrai et le faux qui lui sont retournés. Mais comment expliquer ce concept à un manager qui ne gère pas le code? Utilisons cet exemple de vie simple.

Imaginez que vous passez un marché et vous voyez: les pêches sont vendues. Le vendeur vous dit: «Bery! "Harosha parsik, frais, juteux tel, ne pityeesh." Cependant, vous regardez de plus près et voyez: en un seul endroit, il est gâté. Vous dites: «Eh bien, où est-il bon? c'est pourri. " Le vendeur propose à moitié prix. Si vous pensez: "Vous pouvez couper celui qui est gâté, ce n'est qu'un quart, il semble être rentable" - et l'acheter, alors dans le langage ML il y a validation et la pêche (dans l'argot ML - échantillon) est reconnue comme valide. Si vous pensez que vous pouvez trouver dans un autre endroit le meilleur au lieu de celui gâté, alors l'invalidité se produit et la pêche est reconnue par vous comme non valide.

Il s'avère qu'il n'y a rien de compliqué dans la validation, et nous faisons tous la validation tous les jours, reconnaissant une chose comme bonne, convenant à nous-mêmes ou au handicap, reconnaissant autre chose comme mauvaise, inadaptée.

Note à Estete: Soudain, Jourdain est surpris d'apprendre que toute sa vie s'est exprimée en prose (s). Molière, commerçant de la noblesse.

Enfin, il ne reste plus qu'à expliquer ce qu'est une métrique de validation . Voyons pourquoi nous avons décidé d'acheter une pêche de l'exemple précédent?

• il est assez bon marché (prix <valeur seuil)
• il est assez mûr (maturité> valeur seuil), mais pas mûr (maturité en dessous de la 2ème valeur seuil)
• il est de taille normale, c'est-à-dire que sa taille est dans la catégorie "normal" (toutes catégories: trop petit, petit, normal, grand, énorme)
• il n'est pas suffisamment gâté (la zone des zones pourries et gâtées est inférieure à la valeur seuil)

Tout cela, répertorié ci-dessus, est un exemple d'une métrique de validation composée de 4 catégories dans cet exemple. Dans le cas le plus simple, lorsqu'une pêche satisfait à tous les critères à la fois, elle sera reconnue comme valide et achetée.

Maintenant, il devient évident pourquoi il est si important de s'entendre dès le début, comment exactement la validation aura lieu, sur le nombre de paramètres et les valeurs de seuil dont toutes les parties intéressées seront satisfaites. La description des actions en cas de respect partiel des conditions peut occuper une section spéciale.

Naturellement, chaque projet ML, en fonction de son domaine, aura sa propre métrique de validation. Le document fixant la métrique de validation est aussi important pour le projet ML que la constitution pour l'État.

Ce n'est qu'après que le document est finalement apparu dans le projet qui réglemente la métrique de validation et est devenu disponible pour tous les participants au projet, qu'il est logique d'écrire son code. Le code de validation est au cœur du projet et sa qualité doit être irréprochable, toute erreur dans cette partie avec un haut degré de probabilité peut entraîner l'effondrement de l'ensemble du projet ML dans son ensemble.

Le mystère du calcul de la précision

L'indicateur le plus important de la situation actuelle d'un projet de gestion est l' exactitude . Comment expliquer simplement au manager de quoi il s'agit et quelles actions doivent être effectuées pour le calculer?

Nous devons d'abord expliquer ce qu'est un échantillon validé. Dans notre exemple, c'est quand nous avons acheté non pas une seule pêche, mais une tonne. Nous nous asseyons ou embauchons des travailleurs et ils trient les pêches dans 2 conteneurs. Les inscriptions sur les conteneurs: X (bon) et P (mauvais). Le travail effectué par le tri des pêches est la création d'un échantillon validé.

Comment expliquer pourquoi un échantillon validé est nécessaire? Imaginez que vous avez une sœur cadette et que vous souhaitez lui apprendre à choisir les pêches. Vous l'emportez sur le marché et dites: "Apprenez, regardez comment je fais." Quand il vous semble qu'elle a déjà appris, vous voulez tester ses compétences. Comment faire Vous créez un échantillon de contrôle, c'est-à-dire vous prenez dans les conteneurs, par exemple, 100 pêches qui ont déjà été triées dans chaque conteneur et collez secrètement des autocollants secrets pour savoir de quel conteneur elles ont été prises, mais votre sœur ne le sait pas et lui suggère de les déposer indépendamment dans de nouveaux conteneurs vides. Le pourcentage de correspondances de l'élection de votre sœur avec des autocollants secrets est une mesure de précision. En d'autres termes, la précision est la valeur objective de la confiance à laquelle vous pouvez faire confiance pour votre choix de pêches pour vous. 100% signifie qu'elle est votre copie versée et fait tout exactement comme vous. 0% - que son opinion est exactement l'opposé de la vôtre.

Une note à Esthete: Oui, vous avez raison, avec le temps, les pêches peuvent commencer à se détériorer et vous devez considérer que leur validité devra être revue de temps en temps. Et cela se produit également dans les données informatiques, par exemple, avec une caractéristique telle que la «pertinence».

Voyons maintenant 4 indicateurs de performance ML qui peuvent être confondus. Ce sont les vrais positifs (TP), les faux positifs (FP), les vrais négatifs (TN) et les faux négatifs (FN). La première moitié du mot signifie coïncidence (vrai) ou décalage (faux) de l'opinion de votre sœur avec un autocollant pêche secret. La seconde moitié signifie simplement le récipient dans lequel votre sœur a jeté la pêche (X-bon - positif, P-mauvais - négatif). Et deux mots ensemble, c'est juste le nombre de pêches dans cette catégorie.

En plus de la précision, 3 indicateurs auxiliaires sont également utilisés, à savoir la précision (précision), le rappel (sensibilité) et f1_score.

La précision montre le% de correspondance avec votre opinion des pêches jetées dans le récipient X (bon). 100% signifie que toutes les pêches que vous avez reconnues en forme sont reconnues comme telles par votre sœur. Une valeur inférieure signifie que ceux qui sont reconnus comme impropres sont également entrés dans le conteneur X. L'indicateur est important lorsqu'il est essentiel pour une entreprise que les pêches inadaptées ne tombent pas dans les pêches appropriées, mais si celle qui convient est jugée à tort impropre, alors il n'y a rien à craindre.

Le rappel montre la relation entre de bonnes pêches correctement sélectionnées (TP) et la somme de cette valeur avec de bonnes pêches considérées à tort comme impropres (TP + FN). 100% signifie que votre sœur ne jette jamais de bonnes pêches dans un panier avec de mauvaises et est l'opposé de Precision. Cet indicateur est important lorsqu'il est nécessaire pour une entreprise d'avoir des pêches adaptées tombant aussi rarement que possible dans un contenant inutilisable.

Le score F1 est un score synthétique qui combine les avantages de la précision et du rappel. Sa grande importance témoigne de l'équilibre de l'entraînement et suggère que, comme les bonnes pêches ne tombent pas dans le panier avec les mauvaises, les mauvaises ne se précipitent pas vers les bonnes.

Note à l'esthète: Cet indicateur est la moyenne harmonique entre les précisions et le rappel et est calculé par la formule:

f1_score = 2*(recall*precision) / (recall + precision) 

La question se pose souvent: pourquoi le chef de projet ML doit-il connaître et comprendre si profondément tous ces indicateurs. Réponse: c'est important pour les entreprises. En tant que gestionnaire de ferme laitière, vous devez savoir quel est le rendement laitier et selon quelle formule il est considéré, en tant que gestionnaire de ferme, vous devez savoir ce qu'est le rendement et comment il est calculé. Oui, le gestionnaire peut ne pas explorer comment les vaches sont traites, comment elles vêlent et comment les traiter, mais comprendre les principaux indicateurs commerciaux du projet est la clé du succès de l'entreprise.

Résumé

Nous tous, participants aux projets de ML, faisons un bon travail nécessaire. Lequel d'entre nous, en tant qu'étudiant, n'a pas rêvé, triant les pommes de terre, les tomates et le chou dans une ferme collective afin que les robots le fassent pour lui, et non pour une ou plusieurs personnes. Nous réalisons l'histoire et laissons nos projets réussir. Je serai heureux si cet article contribue à apporter une petite contribution au démarrage réussi des projets ML.

Si cet article vous semble utile, écrivez dans les commentaires et je ferai le 2ème article sur la façon d'expliquer l'additivité et la généralisation à la direction, ces piliers du projet ML correct et adapté.