L'année dernière, un étrange robot motorisé a commencé à rouler sur les routes du comté de Monmouth, dans le New Jersey. Ce véhicule expérimental, développé par les spécialistes de Nvidia, ne diffère pas en apparence des autres voitures autonomes d'autres fabricants, tels que Google, Tesla ou General Motors. Mais surtout pour cette voiture, un nouveau système de contrôle a été développé. Elle est auto-apprenante et ne dépend pas des paramètres spécifiés dans la production. Au lieu de cela, le robot motorisé surveille les actions du conducteur humain et apprend de lui.
C'est une façon un peu inhabituelle de former un robot. D'un autre côté, peu de gens imaginent pleinement comment la machine prend des décisions. Les informations provenant des capteurs, des radars et des lidars pénètrent dans le réseau neuronal, où ces données sont traitées avec l'attribution de règles claires pour contrôler le volant, les freins et d'autres systèmes. En conséquence, il s'avère que les actions du robot sont souvent similaires à celles d'un conducteur humain tombé dans la même situation sur la route. La question se pose - la voiture peut-elle prendre une décision étrange dans l'un des cas - par exemple, percuter un arbre à pleine vitesse ou se tenir à un feu de circulation lorsque le feu vert est allumé?
Un réseau de neurones traitant des informations peut être comparé à une boîte noire. Non, bien sûr, les experts imaginent le principe du traitement des données par un réseau de neurones en termes généraux. Mais le problème est que l'auto-formation n'est pas un processus complètement prédéterminé, donc des résultats absolument inattendus peuvent être attendus en sortie. Au cœur de tout se trouve le deep learning, qui nous a déjà permis de résoudre un certain nombre de problèmes importants, notamment le traitement d'image, la reconnaissance vocale, la traduction. Il est possible que les réseaux de neurones soient capables de diagnostiquer les maladies à un stade précoce, de prendre les bonnes décisions lors des échanges sur la bourse et d'effectuer des centaines d'autres actions humaines importantes.
Mais vous devez d'abord trouver des moyens qui permettront de mieux comprendre ce qui se passe dans le réseau neuronal lui-même lors du traitement des données. Sinon, il est difficile, si possible, de prévoir les erreurs possibles des systèmes avec une forme faible d'IA. Et de telles erreurs le seront certainement. C'est l'une des raisons pour lesquelles la voiture de Nvidia est toujours en cours de test.
Une personne applique maintenant des modèles mathématiques afin de faciliter la tâche de choisir pour elle-même - par exemple, pour déterminer un emprunteur de fonds fiable ou pour trouver un employé ayant l'expérience nécessaire pour une sorte de travail. En général, les modèles mathématiques et les processus qui les utilisent sont relativement simples et directs. Mais militaires, entreprises commerciales, scientifiques utilisent désormais des systèmes beaucoup plus complexes, dont les «décisions» ne sont pas basées sur les résultats d'un ou deux modèles. Le deep learning diffère des principes habituels du fonctionnement informatique. Selon Tommy Jaakol, professeur au MIT, ce problème devient de plus en plus pertinent. "Quoi que vous fassiez, prenez une décision concernant les investissements, essayez de faire un diagnostic, choisissez un point d'attaque sur le champ de bataille, tout cela ne devrait pas dépendre de la méthode de la boîte noire", dit-il.
Cela est compris non seulement par les scientifiques, mais aussi par les fonctionnaires. À partir de l'été prochain, l'Union européenne introduit de nouvelles règles pour les développeurs et les fournisseurs de solutions de systèmes informatiques automatisés. Les représentants de ces entreprises devront expliquer aux utilisateurs comment fonctionne le système et selon quel principe les décisions sont prises. Le problème est que cela peut ne pas être possible. Oui, il est possible d'expliquer sans problème les principes de base du fonctionnement des réseaux de neurones, mais peu de gens savent exactement ce qui s'y passe lors du traitement d'informations complexes. Même les créateurs de tels systèmes ne peuvent pas tout expliquer «de et vers», car les processus qui se produisent dans le réseau neuronal pendant le traitement de l'information sont très complexes.
Jamais auparavant un homme n'a construit de machines dont le principe de fonctionnement n'est pas entièrement compris par les créateurs eux-mêmes et est très différent de la manière dont les informations sont utilisées par la personne elle-même. Peut-on donc s'attendre à une interaction normale avec des machines dont le fonctionnement est imprévisible?
Peinture de l'artiste Adam Ferriss avec Google Deep Dream
En 2015, l'équipe de recherche de l'hôpital Mount Sinai de New York a utilisé l'apprentissage en profondeur pour traiter une base de données de dossiers de patients. La base de données comprenait des informations sur des milliers de patients avec des centaines de lignes d'informations pour chaque personne, telles que les résultats des tests, la date de la visite chez le médecin, etc. En conséquence, le programme Deep Patient est apparu, qui a été formé sur l'exemple des dossiers de 700 000 personnes. Les résultats que ce programme a montré étaient exceptionnellement bons. Par exemple, elle a pu prédire l'émergence de certaines maladies à un stade précoce chez un certain nombre de patients.
Cependant, les résultats se sont révélés un peu étranges. Par exemple, le système a commencé à diagnostiquer parfaitement la schizophrénie. Mais même pour les psychiatres expérimentés, le diagnostic de la schizophrénie est un problème complexe. Mais l'ordinateur s'en est sorti avec fracas. Pourquoi? Personne ne peut expliquer, pas même les créateurs du système.
Initialement, les développeurs d'IA étaient divisés en deux camps. Les partisans du premier ont déclaré que la machine doit être programmée de manière à ce que tous les processus qui se produisent dans le système puissent être vus et compris. Le deuxième camp a adhéré à l'idée que la machine devrait apprendre par elle-même, en recevant des données du nombre maximum de sources, suivie d'un traitement indépendant de ces données. Autrement dit, les partisans de ce point de vue, en fait, ont suggéré que chaque réseau de neurones devrait être "son propre patron".
Tout cela est resté pure théorie jusqu'à ce moment, lorsque les ordinateurs sont devenus suffisamment puissants pour que les experts en intelligence artificielle et en réseaux de neurones puissent commencer à mettre leurs idées en pratique. Au cours des dix dernières années, un grand nombre d'idées ont été mises en œuvre, d'excellents services sont apparus qui aident à traduire des textes d'une langue à une autre, à reconnaître la parole, à traiter un flux vidéo en temps réel, à travailler avec des données financières et à optimiser les processus de production.
Mais le problème est que presque toutes les technologies d'apprentissage automatique ne sont pas trop transparentes pour les spécialistes. Dans le cas d'une programmation "manuelle", la situation est beaucoup plus simple. Bien sûr, on ne peut pas dire que les futurs systèmes seront incompréhensibles pour personne. Mais par nature, le deep learning est une sorte de boîte noire.
Vous ne pouvez pas simplement regarder les principes du réseau neuronal et prédire le résultat que nous obtiendrons à la suite du traitement d'une sorte de réseau de données. À l'intérieur de la «boîte noire», il y a des dizaines et des centaines de «couches de neurones» interconnectées dans un ordre assez compliqué. De plus, la valeur du résultat final n'est pas seulement le travail des couches, mais aussi des neurones individuels. Dans la plupart des cas, une personne ne peut pas prédire ce qui va apparaître à la sortie d'un réseau neuronal.
Un exemple de la façon dont un réseau de neurones diffère d'un cerveau humain est le système Deep Dream. Il s'agit d'un projet Google, un réseau de neurones, dans lequel une photo régulière a été introduite et dans le but de convertir cette photo en fonction d'un sujet spécifique. Eh bien, par exemple, faites en sorte que tous les objets de l'image ressemblent à des chiens. Les résultats ont impressionné tout le monde. D'une manière ou d'une autre, la tâche de générer une image d'haltère a été introduite dans le système. Le système a fait face, mais dans tous les cas, les mains des gens ont été attirées par l'haltère - le réseau neuronal a décidé que l'haltère est un système unique qui ne peut pas être considéré comme deux éléments distincts.
Les experts estiment qu'il est nécessaire de mieux comprendre le fonctionnement de ces systèmes. Cela est nécessaire pour la simple raison qu'ils commencent à utiliser des réseaux de neurones dans des domaines de plus en plus importants où une erreur peut conduire à une triste fin (le trading de titres en est un exemple). «Si vous avez un petit réseau de neurones, vous pouvez parfaitement comprendre comment cela fonctionne. Mais lorsqu'un réseau de neurones se développe, le nombre d'éléments qu'il contient atteint des centaines de milliers de neurones par couche avec des centaines de couches - dans ce cas, il devient imprévisible », explique Jaakkola.
Néanmoins, les réseaux de neurones doivent être utilisés dans le travail, dans la même médecine. Les médecins sous-estiment l’importance de nombreuses données, une personne n’est tout simplement pas en mesure de capturer ses yeux et de trouver les liens entre des centaines de dossiers dans les antécédents médicaux du patient. Et la machine - c'est peut-être la grande valeur des réseaux de neurones et du deep learning en général.
L'armée américaine a investi des milliards de dollars dans le développement de systèmes de contrôle automatique des drones, l'identification et l'identification de divers objets, l'analyse des données. Mais l'armée estime que le travail de tels systèmes doit être compréhensible et explicable. Ces mêmes soldats qui sont enfermés dans un char à commande automatique se sentiront très mal à l'aise s'ils ne comprennent pas comment et ce qui fonctionne, pourquoi le système a pris une telle décision, et pas une autre.
Peut-être qu'à l'avenir ces systèmes expliqueront leurs actions. Par exemple, Carlos Guestrin, professeur à l'Université de Washington, a développé un système informatique qui explique les résultats intermédiaires de ses calculs. Ce système peut être utilisé pour analyser des messages électroniques. Si l'un d'entre eux est évalué par un ordinateur comme envoyé par un terroriste conditionnel, une explication sera donnée pourquoi une telle conclusion est tirée.
Selon le scientifique, les explications devraient être assez simples et compréhensibles. «Nous n'avons pas encore atteint le rêve où l'IA ne fait que vous parler et peut vous expliquer», explique Guestrin. «Nous ne sommes qu'au début d'un long voyage vers la création d'une IA transparente.»
Il est important de comprendre les raisons qui ont conduit l'IA à un résultat spécifique si nous voulons faire de l'IA une partie de notre vie et une partie utile. Cela est vrai non seulement dans le cas des militaires, mais s'applique à Siri ou à tout autre assistant numérique. Par exemple, si vous demandez à Siri de donner une sélection de restaurants à proximité, beaucoup veulent comprendre pourquoi ces restaurants sont affichés, et pas d'autres. Un critère important pour la mise en œuvre de l'IA est la confiance humaine dans les systèmes informatiques.
Il est probablement impossible de faire expliquer à l'ordinateur toutes ses actions et décisions, car, par exemple, les actions et les décisions de toute personne sont souvent impossibles à comprendre. Ils dépendent d'un grand nombre de facteurs. Et plus le réseau de neurones est complexe, plus il prend en compte et analyse ces facteurs.
Cela soulève un certain nombre de questions complexes de nature éthique et sociale. Par exemple, dans le cas des mêmes militaires, lorsqu'il s'agit de créer des chars automatisés et d'autres machines à tuer, il est important que leurs décisions soient conformes aux normes éthiques humaines. En fait, le fait de se tuer peut ne pas être conforme aux normes éthiques de beaucoup d'entre nous. Mais ces décisions devraient être au moins acceptables pour la majorité. Mais quelle est cette majorité? Aussi une question.
Daniel Dennett, un philosophe de l'Université Tufts, dit ce qui suit: «Je crois que si nous voulons utiliser ces choses et en dépendre, nous devons comprendre comment et pourquoi elles agissent de cette façon et non autrement. S'ils ne peuvent pas mieux nous expliquer ce qu'ils font, alors ne leur faites pas confiance. "