RĂ©seau de neurones
Image de brentsview sous licence CC BY-NC 2.0Le cerveau reçoit des informations du monde extérieur, ses neurones reçoivent des données à l'entrée, traitent et produisent un certain résultat. Cela peut être une pensée (je veux du curry pour le dîner), une action (faire du curry), un changement d'humeur (hourra, curry!). Quoi qu'il arrive à la sortie, ce «quelque chose» est la conversion des données de l'entrée (menu) en résultat de sortie («poulet dhansak, s'il vous plaît»). Et si vous imaginez le cerveau comme un convertisseur avec entrée à sortie, alors une analogie avec un ordinateur est inévitable.
Pour certains, ce n'est qu'un outil rhétorique utile, pour d'autres, c'est une idée sérieuse. Mais le cerveau n'est pas un ordinateur. Un ordinateur est chaque neurone. Il y a 17 milliards d'ordinateurs dans le cortex cérébral.
Jetez un Ĺ“il Ă ceci:
Neurone pyramidal projeté en 2D. La tache noire au milieu est le corps du neurone, et le reste des fils sont ses dendrites. Image: Alain DextesCeci est une image d'un neurone pyramidal. Ces cellules constituent la majeure partie du cortex de votre cerveau. La tache au centre est le corps du neurone, et les dendrites, fils enroulés qui collectent les entrées d'autres neurones proches et lointains, s'étirent et se ramifient dans toutes les directions. Les données d'entrée sont réparties sur toute la longueur de chaque dendrite, certaines juste à côté du corps et d'autres loin aux extrémités. Il est important de savoir où exactement le signal arrivera.
Beaucoup ne comprennent pas l'importance de l'emplacement de l'entrée. Habituellement, le travail des neurones est réduit à l'idée d'un simple additionneur. Dans cette idée, les dendrites sont simplement des dispositifs de collecte de données d'entrée. L'activation de chaque entrée individuellement modifie légèrement la tension dans le réseau neuronal électrique. Si nous résumons le courant de toutes les dendrites, un potentiel d'action dendritique (pic) est généré, qui descend le long de l'axone et devient l'entrée pour d'autres neurones.
Un modèle de neurone avec sommation des signaux d'entrée et génération d'un potentiel d'action dendritique si la somme des entrées dépasse un seuil (cercle gris)Il s'agit d'un modèle mental pratique qui sous-tend tous les réseaux de neurones artificiels. Mais elle a tort.
Les dendrites ne sont pas seulement des morceaux de fil. Ils ont également leur propre appareil pour générer des pointes. Si un nombre suffisant d'entrées sont activées dans une petite zone de la dendrite, elles seront renforcées:
Deux caillots colorés sont deux entrées sur un site de dendrite. Lorsqu'ils s'activent, chacun produit une réponse. La flèche grise sur la figure indique l'activation de cette entrée (la réponse signifie ici "changement de tension"). Avec l'activation conjointe, la réponse est supérieure (ligne continue) à la somme des entrées individuelles (ligne pointillée)Le rapport entre le nombre d'entrées actives et la taille de la réponse dans une petite zone de la dendrite est le suivant:
La taille de la réponse dans une branche de la dendrite en réponse à une augmentation du nombre d'entrées actives. Un «pic» local est un saut brutal de réactions minimales à grandesNous assistons à une poussée locale: un saut soudain d'une réaction presque nulle à plusieurs entrées à une très grande réaction avec l'ajout d'une autre. Cette section de la dendrite fonctionne "superlinéairement", ici 2 + 2 = 6.
Depuis de
nombreuses années, nous connaissons ces sursauts locaux dans des zones individuelles de la dendrite. Nous avons vu des pics dans les neurones
sur des sections du cerveau . Nous les avons vus
chez des animaux sous anesthésie , qui chatouillaient leurs pattes (oui, le cerveau se sent toujours inconscient; il ne se soucie tout simplement pas de la réponse). Plus récemment, nous les avons vus dans
des dendrites de neurones
animaux en mouvement (oui, Moore et ses collègues ont enregistré un champ électromagnétique à quelques micromètres du cerveau d'une souris en marche; fou, non?). Les dendrites du neurone pyramidal génèrent vraiment des commissures.
Mais pourquoi cette explosion locale change-t-elle notre compréhension du cerveau en tant qu'ordinateur? Parce que les dendrites du neurone pyramidal
ont de nombreuses branches
distinctes . Et chacun est capable de calculer le résultat et de donner un coup d'éclat. Cela signifie que chaque branche de la dendrite agit comme un petit périphérique de sortie non linéaire, additionnant et émettant une rafale locale si cette branche reçoit un nombre suffisant d'entrées à peu près au même moment:
Déjà vu. Une branche dendritique agit comme un petit appareil pour additionner les entrées et émettre une rafale si suffisamment d'entrées sont arrivées en même temps. Et la transformation de l'entrée en sortie (cercle gris) est le même graphique que nous avons déjà vu ci-dessus, qui détermine la force de la pointeAttends un instant. N'est-ce pas notre modèle de neurone? Oui, c'est elle. Maintenant, si nous remplaçons chaque petite branche de la dendrite par l'un de nos petits dispositifs «neuronaux», alors le neurone pyramidal ressemble à ceci:
Gauche: nombreuses branches dendritiques d'un neurone (au-dessus et en dessous du corps). À droite: il s'avère qu'il s'agit d'un ensemble de dispositifs de sommation non linéaires (boîtes jaunes avec sorties non linéaires) qui sont sorties vers le corps d'un neurone (boîte grise) et y sont additionnées. Quelque chose de familier?Oui, chaque neurone pyramidal est un réseau neuronal à deux couches. En soi.
L'excellent travail de Poirazi et Mel en 2003 l'a clairement montré. Ils ont construit un modèle informatique complexe d'un neurone, simulant chaque petit morceau de dendrite, des éclats locaux à l'intérieur et comment ils descendent dans le corps. Ensuite, ils ont directement comparé la sortie d'un neurone avec la sortie d'un réseau neuronal à deux couches - et ils se sont avérés être les mêmes.
L'extraordinaire signification de ces sursauts locaux est que chaque neurone est un ordinateur. Le neurone lui-même est capable de calculer une vaste gamme de fonctions dites non linéaires, qu'il résume simplement et produit un pic. Par exemple, avec quatre entrées (bleu, mer, jaune et soleil) et deux branches agissant comme de petits dispositifs non linéaires, le neurone pyramidal peut calculer la fonction de «signes de liaison»: pour répondre à une combinaison de bleu et de mer ou à une combinaison de jaune et de soleil, mais pas pour répondre sinon, par exemple, le bleu et le soleil ou le jaune et la mer. Bien sûr, les neurones ont beaucoup plus de quatre entrées et bien plus de deux branches: ainsi, ils sont capables de calculer la gamme astronomique des fonctions logiques.
Plus récemment,
Romain Case avec des amis (je suis l'un de mes amis) a montré qu'un seul neurone calcule une gamme étonnante de fonctions, même s'il n'est pas capable de générer un sursaut dendritique local. Parce que les dendrites, bien sûr, ne sont pas linéaires: dans leur état normal, elles résument en fait les données d'entrée, obtenant un résultat inférieur à la somme des valeurs individuelles. Dans ce mode, ils fonctionnent de façon sublinéaire, c'est-à -dire 2 + 2 = 3,5. Et la présence de nombreuses branches dendritiques avec sommation sublinéaire permet également au neurone d'agir comme un réseau neuronal à deux couches. Un réseau neuronal à deux couches qui calcule un ensemble différent de fonctions non linéaires construites à partir de neurones avec des dendrites supralinéaires. Et presque tous les neurones ont des dendrites. Ainsi, presque tous les neurones peuvent en principe être un réseau neuronal à deux couches.
Une autre conséquence étonnante de la pointe locale est que les neurones en savent beaucoup plus sur le monde qu'ils ne le disent - ou d'autres neurones, d'ailleurs.
J'ai récemment
posé une question simple : comment le cerveau distribue-t-il les informations? Lorsque nous regardons le câblage entre les neurones dans le cerveau, nous pouvons tracer le chemin d'un neurone à un autre. Comment, alors, les informations manifestement disponibles dans une partie du cerveau (disons l'odeur du curry) n'apparaissent-elles pas dans toutes les autres parties du cerveau (par exemple, dans le cortex visuel)?
Il y a deux réponses opposées à cela. Premièrement, dans certains cas, le cerveau n'est pas divisé: les informations apparaissent réellement dans des endroits étranges, par exemple, les sons atteignent la zone du cerveau qui est responsable de l'orientation au sol. Et une autre réponse: les dendrites partagent le cerveau.
Comme nous venons de le voir, une rafale locale est un événement non linéaire: il est plus grand que la somme des entrées. Et le corps d'un neurone ne peut essentiellement pas détecter quoi que ce soit qui ne soit pas une explosion locale. Cela signifie qu'il ignore la plupart des entrées: la zone qui génère l'impulsion pour le reste du cerveau est isolée de la plupart des informations reçues par le neurone. Un neurone ne réagit que lorsque de nombreuses entrées sont actives simultanément dans le temps et l'espace (sur le même site de dendrite).
Dans ce cas, il s'avère que les dendrites répondent à ce à quoi le neurone ne répond pas. C'est exactement ce qui se passe. Nous avons vu comment, dans le cortex visuel, de nombreux neurones réagissent uniquement aux objets qui se déplacent selon un certain angle. Dans certains neurones, des pointes sont générées lorsque l'objet se déplace à un angle de 60 °, dans d'autres 90 ° ou 120 °. Mais les dendrites
répondent à tous les angles sans exception . Les dendrites en savent beaucoup plus sur le monde que le corps d'un neurone.
Ils voient également beaucoup plus. Les neurones corticaux visuels ne réagissent qu'aux choses à un certain endroit: un neurone peut répondre à des objets en haut à gauche et l'autre à des objets en bas à droite. Plus récemment,
Sonia Hofer et ses collègues ont montré que les salves de neurones ne se produisent qu'en réponse à des objets apparaissant dans une position particulière, mais les dendrites répondent à de nombreuses positions différentes, souvent loin de la spécialisation du neurone. Ainsi, les neurones ne répondent qu'à une petite partie des informations reçues et le reste des informations est caché dans leurs dendrites.
Pourquoi est-ce si important? Cela signifie que chaque neurone peut changer radicalement sa fonction, en changeant seulement quelques entrées. Certaines entrées s'affaiblissent - et soudain, toute une branche de la dendrite est silencieuse. Un neurone qui était heureux de voir des chats parce que cette branche aimait les chats, ne répond plus lorsque votre chat a sauté sur le clavier d'un ordinateur de travail - et en conséquence, vous êtes devenu une personne beaucoup plus calme et rassemblée. Plusieurs entrées sont amplifiées - et tout à coup, toute la branche commence à réagir: un neurone qui ne répondait pas auparavant au goût des olives génère maintenant joyeusement des éclats lorsqu'il capture une bouche pleine d'olives vertes mûres - d'après mon expérience, ce neurone n'est activé chez l'homme qu'après 20 ans. Si les entrées étaient simplement additionnées, les nouvelles entrées lutteraient contre les anciennes pour la fonction du neurone; mais chaque section de la dendrite agit indépendamment et fait facilement de nouveaux calculs.
Cela signifie que le cerveau peut effectuer de nombreux calculs. Il est impossible de considérer un neurone simplement comme un additionneur de données d'entrée et un générateur de salves. Mais c'est exactement ainsi que les unités sont disposées dans des réseaux de neurones artificiels. Cela suggère que l'apprentissage en profondeur et d'autres systèmes d'IA n'ont même pas approché la puissance de calcul du vrai cerveau.
Il y a 17 milliards de neurones dans le cortex cérébral. Pour comprendre ce qu'ils font, nous faisons souvent des analogies avec un ordinateur. Certains arguments reposent entièrement sur cette analogie. Pour d'autres, c'est une illusion. Les réseaux de neurones artificiels sont souvent cités en exemple: ils font des calculs et se composent de choses semblables à des neurones, c'est pourquoi le cerveau doit calculer. Mais si nous pensons que le cerveau est un ordinateur, parce que c'est comme un réseau de neurones, nous devons maintenant admettre que les neurones individuels sont également des ordinateurs. Tous les 17 milliards dans la croûte. Peut-être tous les 86 milliards dans le cerveau.
Cela signifie que le cortex cérébral n'est pas un réseau neuronal. Il s'agit d'un réseau neuronal de réseaux neuronaux.