Comment la parallélisation massive augmente l'efficacité du cerveau par rapport aux capacités de l'IA
Le cerveau est un appareil complexe; chez l'homme, il contient environ 100 milliards de neurones et environ 100 billions de connexions entre eux. Il est souvent comparé à un autre système complexe avec d'énormes capacités de résolution de tâches: un ordinateur numérique. Le cerveau et l'ordinateur contiennent un grand nombre d'unités élémentaires - des neurones ou des transistors, respectivement - connectés à des circuits complexes qui traitent les informations transmises par des signaux électriques. Au niveau mondial, les architectures du cerveau et de l'ordinateur sont un peu similaires, car elles consistent en des boucles presque séparées pour l'entrée, la sortie, le traitement central et la mémoire.
Qui sait mieux résoudre les problèmes - le cerveau ou l'ordinateur? Compte tenu du développement rapide de la technologie informatique au cours des dernières décennies, vous pouvez décider de ce qui gagne l'ordinateur. En effet, les ordinateurs sont conçus et programmés pour vaincre les maîtres humains dans des jeux complexes, comme les échecs dans les années 1990, et plus récemment, ainsi que dans des compétitions de connaissances encyclopédiques, comme le
jeu télévisé
Jeopardy!, Mais pour l'instant que les gens défont les ordinateurs dans une variété de tâches liées au monde réel - de la capacité de faire la distinction entre un cycliste ou un piéton sur la route, de ramasser une tasse de thé sur une table et de la déplacer soigneusement dans sa bouche - sans parler de la conceptualisation et de la créativité.
Pourquoi un ordinateur se débrouille-t-il bien avec certaines tâches et le cerveau avec d'autres? Les comparaisons de l'ordinateur avec le cerveau ont aidé les ingénieurs et les neuroscientifiques à comprendre ce problème. La comparaison suivante a été faite à l'aube de l'ère moderne de l'informatique, dans le petit mais influent livre The Computer and the Brain de
John von Neumann , spécialiste de nombreux domaines scientifiques, qui fut le premier à développer un schéma d'architecture informatique dans les années 40, toujours servant alors de base aux ordinateurs modernes. Regardons les chiffres dans ces comparaisons.
| Les propriétés | Ordinateur | Cerveau |
|---|
| Le nombre d'éléments élémentaires | Jusqu'à 10 milliards de transistors | ≈ 100 milliards de neurones et 100 billions de synapses |
| Vitesse d'opérations de base | 10 milliards / sec | <1000 / sec |
| Précision | 1 sur 4,2 milliards (pour un processeur 32 bits) | 1 à 100 |
| Consommation d'énergie | 100 watts | 10 watts |
| Méthode de traitement de l'information | Surtout en série | Série et massivement parallèle |
| Le nombre d'entrées et de sorties de chaque élément | 1-3 | ≈ 1000 |
| Mode de fonctionnement | Numérique | Numérique et analogique |
Données extraites des ordinateurs de 2008. Le nombre de transistors par circuit intégré a doublé tous les 18 à 24 mois, mais au fil du temps, l'augmentation de la vitesse a diminué en raison de problèmes de consommation d'énergie et de dissipation thermique.
L'ordinateur a d'énormes avantages sur le cerveau en ce qui concerne la vitesse des opérations de base
1 . Aujourd'hui, les ordinateurs personnels sont capables d'effectuer des opérations arithmétiques de base telles que l'addition, à une vitesse de 10 milliards d'opérations par seconde. Nous pouvons évaluer la vitesse des opérations cérébrales élémentaires par les processus élémentaires par lesquels les neurones transmettent des informations et communiquent entre eux. Par exemple, les neurones activent
des potentiels d'action - des salves de signaux électriques qui sont lancés au voisinage d'une cellule neuronale et transmis le long de ses longues branches, les axones, la connectant avec les neurones suivants. Les informations sont codées à la fréquence et à l'heure du début de ces salves. La fréquence d'activation maximale des neurones est de l'ordre de 1000 rafales par seconde. Dans un autre exemple, les neurones transmettent des informations aux neurones partenaires associés, émettant des neurotransmetteurs chimiques dans des structures spéciales aux extrémités des axones, des synapses et les neurones partenaires transforment le neurotransmetteur en signaux électriques, et ce processus est appelé
transmission synaptique . La transmission synaptique la plus rapide se produit en 1 ms. Par conséquent, grâce aux rafales et aux transmissions synaptiques, le cerveau est capable d'effectuer un maximum de mille opérations de base par seconde, ce qui est 10 millions de fois plus lent qu'un ordinateur. On suppose que les opérations arithmétiques doivent convertir les entrées en sorties, de sorte que la vitesse de travail est limitée par les opérations de base des communications neuronales, telles que les potentiels d'action et la transmission synaptique. Mais il existe des exceptions à ces restrictions. Par exemple, les neurones à synapses électriques (connexions entre neurones qui n'utilisent pas de neurotransmetteurs chimiques) qui ne produisent pas de surtensions sont, en principe, capables de transmettre des informations plus rapidement qu'en une milliseconde; des événements susceptibles de se produire localement dans les dendrites en sont capables.
L'ordinateur a également de sérieux avantages sur le cerveau dans la précision des opérations de base. Un ordinateur est capable de représenter des nombres avec la précision souhaitée en utilisant des bits, des zéros et des unités attribués à chaque numéro. Par exemple, un nombre de 32 bits a une précision de 1 à 2
32 , soit 4,2 milliards. Des preuves empiriques suggèrent que la plupart des nombres dans le système nerveux (par exemple, la fréquence d'activation des neurones, qui est souvent utilisée comme estimation de l'intensité du stimulus) fluctue de quelques pour cent en raison du bruit biologique, c'est-à-dire que la précision, au mieux, est de 1 à 100, ce qui est des millions de fois pire qu'un ordinateur. Soit dit en passant, le bruit peut servir d'indicateur que de nombreux processus nerveux sont essentiellement probabilistes. Les mêmes stimuli peuvent provoquer différentes séquences de sursauts d'activité électrique des neurones.
Cependant, les calculs effectués par le cerveau ne peuvent pas être appelés lents ou inexacts. Par exemple, un joueur de tennis professionnel peut suivre la trajectoire d'une balle volant à une vitesse pouvant atteindre 260 km / h, se déplacer vers le siège optimal sur le terrain, mettre sa main dans la bonne position et agiter une raquette, renvoyant la balle à la moitié de l'adversaire - et tout cela en quelques centaines de millisecondes. De plus, le cerveau est capable de toutes ces tâches (en utilisant le corps qu'il contrôle), consommant dix fois moins d'énergie qu'un ordinateur personnel. Comment le cerveau réussit-il? Une différence importante entre l'ordinateur et le cerveau est le mode dans lequel chacun de ces systèmes traite les informations. L'ordinateur exécute des tâches pour la plupart en étapes séquentielles. Cela peut être vu par la façon dont les programmeurs écrivent du code, créant un flux d'instructions consécutives. Une grande précision est requise pour chaque étape de cette séquence, car les erreurs s'accumulent et s'amplifient à chaque étape. Le cerveau utilise également des étapes séquentielles dans le traitement des informations. Dans l'exemple du tennis, l'information circule des yeux vers le cerveau, puis vers la moelle épinière pour contrôler les contractions des muscles des jambes, du tronc, du bras et du poignet.
Mais le cerveau utilise également un traitement de données parallèle massif, tirant parti du grand nombre de neurones et des connexions entre eux. Par exemple, une balle de tennis en mouvement active de nombreuses cellules rétiniennes, des photorécepteurs, qui convertissent la lumière en signaux électriques. Ces signaux sont transmis à de nombreux types différents de neurones rétiniens. Au moment où les signaux des photorécepteurs passent par deux ou trois connexions synaptiques dans la rétine, des informations sur la position, la direction et la vitesse de la balle ont déjà été extraites par des circuits neuronaux parallèles et transmises au cerveau. De la même manière, le cortex moteur (la partie du cortex cérébral responsable de la motilité consciente) envoie des commandes en parallèle pour contrôler la contraction des muscles des jambes, du tronc, des bras et des poignets, afin que le corps et les mains occupent simultanément la position optimale pour recevoir le ballon.
Cette stratégie massivement parallèle fonctionne parce que chaque neurone collecte des entrées et envoie la sortie à de nombreux autres neurones - en moyenne pour les mammifères, 1000 liaisons entrantes et sortantes par neurone. Et chaque transistor au total n'a que trois nœuds d'entrée et de sortie. Les informations d'un neurone peuvent être transmises de nombreuses manières parallèles. Et en même temps, de nombreux neurones de traitement de l'information peuvent connecter leurs données de sortie en les envoyant à un neurone suivant. Cette propriété est particulièrement utile pour augmenter la précision du traitement de l'information. Par exemple, les informations fournies par un seul neurone peuvent contenir du bruit (c'est-à-dire que leur précision est de l'ordre de 1 à 100). En percevant l'entrée de 100 neurones qui traitent les mêmes informations, le neurone suivant à son tour peut déjà fournir des informations avec une plus grande précision (dans ce cas, 1 à 1000). Supposons que l'écart type σ du
support pour chaque unité de données d'entrée correspond approximativement au bruit. Pour le nombre moyen d'entrées indépendantes n, l'écart attendu de la moyenne des
médias σ = σ / √ n. Dans notre exemple, σ = 0,01 et n = 100, donc σ
media = 0,001.
L'ordinateur et le cerveau ont également des similitudes et des différences dans la représentation de leurs unités élémentaires. Le transistor utilise une représentation numérique des informations avec des valeurs discrètes (0 ou 1). La rafale axonale est également un signal numérique, car un neurone à tout moment est activé ou non activé, et lorsqu'il est activé, presque toutes les rafales ont approximativement la même taille et la même forme. Cette propriété permet une transmission fiable des rafales sur de longues distances. Cependant, les neurones profitent également des capacités des signaux analogiques qui représentent des informations à l'aide de valeurs continues. Certains neurones (la plupart des neurones rétiniens) ne produisent pas de salves et leur sortie est transmise par des signaux électriques pas à pas (qui, contrairement aux salves, peuvent varier en amplitude), qui sont capables de transmettre plus d'informations que les salves. L'extrémité réceptrice du neurone (généralement située dans les dendrites) utilise également des signaux analogiques pour intégrer jusqu'à mille signaux d'entrée en même temps, ce qui permet aux dendrites d'effectuer des calculs complexes.
Une autre caractéristique notable du cerveau, qui est clairement utilisée dans l'exemple d'un jeu de tennis, est que la force des connexions entre les neurones peut être modifiée en raison des actions et de l'expérience - ce processus, selon les neuroscientifiques, est la base de l'apprentissage et de la mémorisation. Un entraînement répété permet aux circuits neuronaux de mieux s'adapter à la tâche, ce qui augmente considérablement la vitesse et la précision.
Au cours des dernières décennies, les ingénieurs se sont inspirés du cerveau pour améliorer les ordinateurs. Les principes du traitement parallèle et de la modification du poids des liaisons, selon l'utilisation, sont inclus dans les ordinateurs modernes. Par exemple, dans le développement des ordinateurs, la tendance actuelle est l'augmentation du parallélisme, par exemple, l'utilisation de plusieurs processeurs (cœurs) dans un ordinateur. Un autre exemple est l'apprentissage en profondeur, la science de l'apprentissage automatique et de l'intelligence artificielle, qui a connu un énorme succès ces dernières années et est responsable des progrès rapides dans la reconnaissance des objets et de la parole dans les ordinateurs et les appareils mobiles, a été inspirée par des découvertes liées au système visuel des mammifères.
2L'apprentissage profond, imitant le système visuel des mammifères, utilise plusieurs couches, chacune représentant les propriétés de plus en plus abstraites de l'objet (visuel ou vocal), et les poids des liens entre les différentes couches sont ajustés à l'aide de la formation, et non en raison d'efforts d'ingénierie. Ces avancées récentes ont élargi la liste des tâches soumises aux ordinateurs. Et pourtant, le cerveau reste flexible, généralisable et capable d'apprendre. Alors que les neuroscientifiques découvrent de plus en plus de secrets du cerveau (aidés par l'utilisation croissante des ordinateurs), les ingénieurs pourront prendre plus d'exemples pour s'inspirer du cerveau afin d'améliorer encore l'architecture et les performances des ordinateurs. Quiconque se révèle vainqueur dans une tâche particulière, cette insémination interdisciplinaire mutuelle fera sans aucun doute progresser la neurobiologie et la technologie informatique.
1. Patterson, DA & Hennessy, JL Computer Organization and Design (Elsevier, Amsterdam, 2012), 4e éd.
2. LeCun, Y. Bengio, Y. et Hinton, G. Apprentissage en profondeur. Nature 521, 436–444 (2015).
Likan Luo est professeur à la School of Humanities and Sciences et professeur de neurosciences à l'Université de Stanford.