Le MIT a introduit un outil interactif qui explique clairement pourquoi un système intelligent prend une décision ou une autre. Cet article explique comment cela fonctionne.
/ Unsplash / Randy FathProblème de boîte noire
Les systèmes d'apprentissage automatique automatisés (AutoML) testent et modifient à plusieurs reprises les algorithmes et leurs paramètres. En utilisant la méthode d'
apprentissage par renforcement , ces systèmes
sélectionnent des modèles d'IA plus adaptés que d'autres pour résoudre un problème donné. Par exemple, pour automatiser
le support technique . Mais les systèmes AutoML agissent comme des boîtes noires, c'est-à-dire que leurs méthodes sont cachées aux utilisateurs.
Cette fonctionnalité complique considérablement le débogage des algorithmes d'apprentissage automatique. Et, par exemple, dans le cas des systèmes de pilote automatique, les conséquences peuvent être fatales. En 2016, Tesla sur pilote automatique
est devenu pour la première fois
un participant à un accident mortel, entrant en collision avec un gros camion. La cause de l'accident est inconnue de manière fiable. Les experts n'ont qu'une hypothèse - l'algorithme a
mélangé un camion haut avec un panneau routier installé sur le bord inférieur du survol. Et l'erreur n'a pas encore été éliminée - début mars, les États-Unis ont de nouveau
connu un accident similaire .
Pour expliquer comment un algorithme machine est arrivé à une conclusion ou à une autre, les ingénieurs utilisent des techniques postérieures ou des modèles interprétés comme des arbres de décision . Dans le premier cas, les données d'entrée et de sortie sont utilisées pour approximer le "processus de pensée" de l'algorithme. La précision de ces techniques est médiocre.
Les arbres de décision sont une approche plus précise, mais ne fonctionnent qu'avec des données catégorisées . Par conséquent, pour les problèmes complexes, la vision par ordinateur n'est pas pratique.
Les ingénieurs du MIT, de l'Université des sciences et technologies de Hong Kong et de l'Université du Zhejiang ont décidé de rectifier la situation. Ils ont
présenté un outil pour visualiser les processus se déroulant à l'intérieur d'une boîte noire. Il s'appelait ATMSeer.
Fonctionnement du système
ATMSeer est basé sur
des modèles à réglage
automatique (ATM). Il s'agit d'un système d'apprentissage automatique automatisé qui recherche les modèles les plus efficaces pour résoudre des problèmes spécifiques (par exemple, rechercher des objets). Le système sélectionne arbitrairement le type d'algorithme - un réseau de neurones, des arbres de décision, une "
forêt aléatoire " ou une régression logistique. De la même manière, il détermine les hyperparamètres du modèle - la taille de l'arbre ou le nombre de couches du réseau neuronal.
ATM mène une série d'expériences avec des données de test, en réglant automatiquement les hyperparamètres et en évaluant les performances. Sur la base de ces informations, elle choisit le modèle suivant, qui peut afficher les meilleurs résultats.
Chaque modèle est présenté sous la forme d'une sorte d '«unité d'information» avec des variables: algorithme, hyperparamètres, performances. Les variables sont affichées sur les graphiques et diagrammes correspondants. De plus, les ingénieurs peuvent modifier manuellement ces paramètres et surveiller les changements dans le système intelligent en temps réel.
Les ingénieurs du MIT ont montré l'interface de l'outil
dans la vidéo suivante . Dans ce document, ils ont trié plusieurs cas d'utilisateurs.
Le panneau de configuration ATMSeer
vous permet de gérer le processus d'apprentissage et de télécharger de nouveaux ensembles de données. Il affiche également les indicateurs de performance de tous les modèles sur une échelle de zéro à dix.
Perspectives
Les ingénieurs disent que le nouvel outil contribuera au développement du domaine de l'apprentissage automatique, rendant le travail avec des algorithmes intelligents plus transparent. Un certain nombre de spécialistes MO ont déjà
noté qu'avec ATMSeer, ils sont plus confiants dans l'exactitude de leurs modèles générés par AutoML.
Le nouveau système aidera également les entreprises à respecter les exigences du RGPD. Les réglementations générales sur la protection des données nécessitent des algorithmes d'apprentissage automatique pour plus de transparence . Les développeurs de systèmes intelligents devraient être en mesure d'expliquer les décisions prises par les algorithmes. Cela est nécessaire pour que les utilisateurs puissent comprendre pleinement comment le système traite leurs données personnelles.
/ Unsplash / Esther JiaoÀ l'avenir, vous pouvez vous attendre à ce que plus d'outils se penchent sur la boîte noire. Par exemple, les ingénieurs du MIT
travaillent déjà sur une autre solution. Il aidera les étudiants en médecine à acquérir des compétences en rédaction d'histoire.
Outre le MIT, IBM travaille dans ce domaine. Avec des collègues de Harvard, ils ont présenté l'outil Seq2Seq-Vis. Il
visualise le processus décisionnel en traduction automatique d'une langue à une autre. Le système montre comment chaque mot du texte source et final est associé à des exemples sur lesquels le réseau neuronal a été formé. Il est donc plus facile de déterminer si une erreur s'est produite en raison de données d'entrée incorrectes ou d'un algorithme de recherche.
Les outils qui rendent les algorithmes d'apprentissage automatique plus transparents trouveront également une application dans
ITSM lors de l'implémentation de Service Desk. Les systèmes aideront à la formation des robots de discussion intelligents et aideront à éviter les situations où ils
ne se comportent pas comme prévu .
Documents de notre blog d'entreprise:
Et un blog sur Habré: