Depuis l'époque de l'
Ornithopera de Da Vinci, les plus grands esprits de l'humanité se sont inspirés du monde naturel. Dans le monde moderne, rien n'a changé et les dernières réalisations en matière d'apprentissage automatique et d'intelligence artificielle ont été créées sur la base de l'organe informatique le plus avancé: le cerveau humain.
Imiter notre matière grise n'est pas seulement une bonne idée pour créer une IA plus avancée. Cela est absolument nécessaire dans leur développement ultérieur. Les réseaux de neurones basés sur l'apprentissage profond, tels que ceux d'
AlphaGo , ainsi que la génération moderne de systèmes de
reconnaissance et de
traduction de formes , sont les meilleurs systèmes d'apprentissage automatique que nous ayons développés à ce jour. Ils sont capables de choses incroyables, mais font toujours face à des défis technologiques importants. Par exemple, le fait qu'ils ont besoin d'un accès direct à de grands ensembles de données pour acquérir une compétence particulière. De plus, si vous souhaitez recycler un réseau de neurones pour effectuer une nouvelle tâche, vous devez essentiellement effacer sa mémoire et recommencer à zéro - un processus appelé «oubli catastrophique».
Comparez cela au cerveau d'une personne qui apprend progressivement et qui ne semble pas immédiatement formée à partir d'un tas de données. C'est une différence fondamentale: les IA basées sur l'apprentissage profond sont générées de haut en bas, sachant tout ce dont vous avez besoin dès le début, tandis que l'esprit humain est construit à partir de zéro, lorsque les leçons précédentes applicables aux nouvelles expériences sont utilisées pour créer de nouvelles connaissances.
De plus, l'esprit humain est particulièrement doué pour effectuer un raisonnement relationnel basé sur la logique, créant des liens entre les expériences passées afin de comprendre de nouvelles situations à la volée. L'IA statistique (c'est-à-dire l'apprentissage automatique) est capable d'imiter les compétences cérébrales dans la reconnaissance des formes, mais ne fonctionne pas lors de l'application de la logique. L'IA symbolique, en revanche, peut utiliser la logique (en supposant qu'il a été formé aux règles de ce système de raisonnement), mais n'est généralement pas en mesure d'appliquer cette compétence en temps réel.
Mais que faire si nous pouvons combiner la meilleure flexibilité de calcul du cerveau humain avec les
puissantes capacités de traitement de l'IA? C'est exactement ce que l'équipe de DeepMind a essayé de faire. Ils ont créé un réseau de neurones capable d'appliquer le raisonnement relationnel à leurs tâches. Il fonctionne de la même manière qu'un réseau de neurones cérébraux. Alors que les neurones utilisent différentes relations les uns avec les autres pour reconnaître les schémas: «Nous faisons clairement en sorte que le réseau détecte les relations qui existent entre des paires d'objets dans ce scénario», a déclaré Timothy Lillycrap, scientifique chez DeepMind, au
Science Magazine .
Lorsqu'en juin, elle a
été chargée de questions complexes sur la position relative des objets géométriques dans une image, par exemple: «Y a-t-il un objet devant un objet bleu, a-t-il la même forme qu'une toute petite chose bleue à droite d'une boule de métal gris?» - Elle a correctement identifié l'objet dans 96% des cas. Les systèmes d'apprentissage automatique conventionnels ont donné la bonne solution dans 42 à 77% des cas. Même les gens ont réussi le test dans seulement 92% des cas. C'est vrai, cette
IA hybride fait un meilleur travail que les gens qui l'ont construite.
Les résultats étaient les mêmes lorsque l'IA a présenté des problèmes avec le mot. Bien que les systèmes conventionnels aient pu faire correspondre DeepMind sur des questions simples, telles que «Sarah a le ballon. Sarah entre dans son bureau. Où est le ballon? " le système d'IA hybride était hors compétition sur des questions plus complexes comme: «Lily est un cygne. Lily est blanche. Greg est un cygne. Quelle est la couleur de Greg? " DeepMind leur a répondu correctement dans 98% des cas contre environ 45% des concurrents.
DeepMind fonctionne même sur un système qui
«se souvient» des informations importantes et applique ces connaissances accumulées aux demandes futures. Mais IBM fait encore deux pas en avant. Dans deux articles de recherche présentés lors de la
Conférence internationale de collaboration sur l'intelligence artificielle de 2017 tenue à Melbourne, en Australie la semaine dernière, IBM a présenté deux études: l'une explorant
comment fournir une «attention» à l'IA et l'autre explorant la question de l'
application du processus biologique de la neurogenèse , c'est-à-dire la naissance et la mort des neurones, pour les systèmes d'apprentissage automatique.
«La formation sur les réseaux neuronaux est généralement conçue, et beaucoup de travail est nécessaire pour réellement créer une architecture spécifique qui fonctionne le mieux. C'est presque une méthode d'essais et d'erreurs », a déclaré Iradget Irina Rish, chercheuse chez IBM. «Ce serait bien si ces réseaux pouvaient se construire.»
IBM Attention Algorithm informe le réseau neuronal des entrées qui fournissent la récompense la plus élevée. Plus la récompense est élevée, plus le réseau leur accordera d'attention. Il est particulièrement utile dans les situations où l'ensemble de données n'est pas statique, c'est-à-dire dans la vie réelle. "L'attention est un mécanisme basé sur les récompenses, ce n'est pas seulement quelque chose qui n'est pas lié à la prise de décision et à nos actions", a déclaré Rish.
"Nous savons que lorsque nous voyons une image, l'œil humain a généralement un très petit champ de vision", a déclaré Rish. «Ainsi, selon la résolution, vous ne voyez que quelques pixels de l'image [nette], mais tout le reste semble flou. Le fait est que vous bougez rapidement vos yeux, et le mécanisme d'assemblage de différentes parties en une image dans le bon ordre vous permettra de reconnaître rapidement l'image. »
La première utilisation de la fonction d'attention se fera probablement dans la reconnaissance des formes, bien qu'elle puisse être utilisée dans divers domaines. Par exemple, si vous entraînez l'IA à l'aide du
jeu de données Oxford , qui est principalement des images architecturales, il peut facilement identifier correctement les paysages urbains. Mais si vous lui montrez un tas de photos de la campagne (champs et fleurs, etc.), l'IA sera confuse car il ne sait pas ce que sont les fleurs. Et lorsque vous effectuez les mêmes tests avec des personnes et des animaux, vous stimulez la neurogenèse, car leur cerveau essaie d'adapter ce qu'ils savent déjà des villes aux nouveaux paysages du pays.
Le mécanisme indique au système sur quoi il doit se concentrer. Par exemple, prenez votre médecin, elle peut effectuer des centaines de tests possibles pour déterminer ce qui vous dérange, mais cela est impossible: à temps ou à des prix raisonnables. Alors, quelles questions devrait-elle poser et quels tests devraient être effectués pour obtenir le meilleur diagnostic en un minimum de temps? "C'est ce que l'algorithme apprend à comprendre", a expliqué Rich. Il détermine non seulement quelle solution conduit au meilleur résultat, mais aussi où trouver les données. Ainsi, le système prend non seulement des décisions plus correctes, mais les rend également plus rapides, car il ne demande pas de parties de l'ensemble de données qui ne sont pas applicables au problème actuel. Tout comme votre médecin ne touche pas vos genoux avec un petit marteau bizarre lorsque vous vous plaignez de douleurs thoraciques et d'essoufflement.
Alors que le système d’attention est pratique pour garantir que le réseau exécute la tâche, le travail d’IBM sur la plasticité neuronale (comment les «mémoires» sont mémorisées) sert à fournir une mémoire réseau à long terme. Ceci est en fait modélisé sur la base des mêmes mécanismes de naissance et de mort des neurones que ceux observés dans l'hippocampe humain.
Dans ce système, "vous n'avez pas à modéliser des millions de paramètres", a expliqué Rish. «Vous pouvez commencer avec un modèle beaucoup plus petit, puis, en fonction des données que vous voyez, ils s'adapteront.»
Lorsque de nouvelles données lui sont présentées, le système neurogénétique IBM commence à former de nouvelles connexions améliorées (neurones), tandis que certaines des plus anciennes et moins utiles seront «coupées», comme l'a dit Rish. Cela ne signifie pas que le système supprime littéralement les anciennes données, il y devient juste moins attaché - tout comme vos anciens souvenirs ont tendance à devenir flous au fil des ans, mais ceux qui portent un stress émotionnel important restent vifs. depuis de nombreuses années.
"La neurogenèse est un moyen d'adapter les réseaux profonds", a déclaré Rish. «Un réseau de neurones est un modèle, et vous pouvez construire ce modèle à partir de zéro, ou vous pouvez changer ce modèle si nécessaire, car vous avez plusieurs couches de neurones cachés, et vous pouvez décider combien (de neurones) vous voulez avoir ... en fonction des données. "
C'est important parce que vous ne voulez pas l'expansion infinie d'un réseau neuronal. Si cela se produisait, l'ensemble de données deviendrait si volumineux qu'il ne pourrait même pas se permettre l'équivalent numérique de l'hyperimesie. «Cela aide également à la normalisation, de sorte que [AI] ne« change pas d'avis »sur les données», a déclaré Rish.
Ensemble, ces réalisations pourraient être très utiles à la communauté des chercheurs en IA. L'équipe de Rish veut travailler sur ce qu'ils appellent «l'attention interne». Vous choisirez non seulement les données que vous souhaitez voir sur le réseau, mais également les parties du réseau que vous souhaitez utiliser dans les calculs basés sur un ensemble de données et d'entrées. Fondamentalement, le modèle d'attention couvrira un processus de pensée actif à court terme, tandis qu'une partie de la mémoire permettra au réseau d'optimiser sa fonction en fonction de la situation actuelle.
Mais ne vous attendez pas à ce que dans un proche avenir, l'IA soit en mesure de rivaliser avec l'esprit humain, prévient Richard. «Je dirais au moins quelques décennies, mais, encore une fois, ce n'est qu'une hypothèse. Ce que nous faisons maintenant, du point de vue de la reconnaissance de formes de haute précision, est encore très, très loin du modèle de base des émotions humaines », a-t-elle déclaré. "Nous venons juste de commencer."
