🚵🏽 ⚡️ 💝 Quelques algorithmes sous le capot du cerveau ♓️ 🤟🏼 🤛🏾

Il y a quelque temps, je voulais étudier des matériaux modernes sur la neurobiologie du point de vue d'un programmeur. C'est-à-dire en extraire les algorithmes de base, après les avoir débarrassés des détails chimiques / biologiques inutiles.

Donc, si quelqu'un aime les réseaux de neurones artificiels et veut chercher l'inspiration dans le naturel, cet article peut apparaître. Bien sûr, il n'a pas été possible de tout couvrir dans un seul article - il y a beaucoup de données.

Tout d'abord, une brève description du travail du bio-neurone, afin que la suite soit claire. Qui connaît déjà les bases - n'hésitez pas à sauter.

Neurone biologique: poisson-chat, dendrites, synapses, pointe, EPSP, potentiel membranaire

: ( ), , . , , . . — . . . .

, , . , . “ ” ,“” “U”. , . . U.

, . , U . — . . , , . , , . “+” EPSP (). “-” IPSP ().

. EPSP- IPSP- , , , . , .

, , , . , . , . , , . . , EPSP , .

. , . “ ” . , . , , (. ).

— . — . EPSP — “”. , , , . EPSP ( ) , , .. , .

STDP

On suppose que la base de la mémoire à long terme est la répartition de l'efficacité sur les synapses des neurones. Certaines synapses sont affaiblies, certaines sont renforcées. C'est ce qu'on appelle la ductilité. Mais par quel algorithme est-il décidé quelles synapses et comment changeront-elles les poids? Le principe le plus célèbre dans les réseaux de neurones vivants est la plasticité dépendante du timing de Spike .

Il est observé des insectes aux humains et est formulé comme suit:

Si le pic d'entrée d'une synapse donnée a tendance à venir juste avant que le neurone lui-même génère un pic, alors la synapse est amplifiée.
Si la pointe d'entrée de cette synapse a tendance à venir immédiatement après la génération de la pointe par le neurone lui-même, alors la synapse est affaiblie.

Les intrants qui ont contribué à la hausse sont devenus plus prioritaires à l'avenir, et ils ne le sont pas - moins. Le processus se poursuit jusqu'à ce qu'il reste un certain sous-ensemble des poids d'origine et le reste sera réduit à zéro. Nous prendrons en compte le fait qu'un neurone génère un pic lorsque plusieurs de ses entrées sont activées immédiatement dans un court laps de temps . On peut en déduire que les entrées non nulles restantes avaient des corrélations dans le temps.

_{Dépendance de l'augmentation / diminution du poids de la synapse sur le pic d'entrée (pré) et de sortie (post) du miel Δt}

Ce phénomène est très bien connu et confirmé dans de nombreuses expériences, mais il convient de noter qu'en passant par différents protocoles expérimentaux, vous pouvez toujours obtenir une distorsion / violation de cette loi, non briser les exigences formelles pour les pics pré-post [0].

Propagation du pic arrière

Le neurone pyramidal (peut-être le type le plus célèbre de neurones corticaux) possède des milliers de synapses parsemées de son arbre dendritique (en fait, il a deux arbres dendritiques). Si nous sélectionnons plusieurs synapses - près du poisson-chat, loin et très loin de lui - et voyons quel type de graphiques STDP ils obtiennent, alors les graphiques seront différents.

Pour les synapses proches du poisson-chat, le calendrier sera classique - comme une variation sur le sujet de la formation Hebb. Autrement dit, comme dans l'image ci-dessus. Plus le poisson-chat est éloigné, plus l'amplitude de cet entraînement est petite. Et si vous prenez des synapses lointaines, vous pouvez voir des choses très étranges. Par exemple, si le pic d'entrée (qui est arrivé à la synapse) a précédé la sortie, alors l'expérience n'a pas observé d'amplification, mais une atténuation de cette synapse. Formation antihebbovskoe, Karl! Cependant, il était possible de le retourner dans le canal Hebb si des adhérences dendritiques étaient générées sur des dendrites éloignées. En général, avec l'entraînement des synapses les plus proches du poisson-chat, tout est assez clair, mais sur les lointaines, il semble qu'il y ait un ~~gâchis avec un~~ algorithme d'apprentissage différent [1] .

Voyons d'où viennent les jambes de tout cela. Ainsi, pour l'itération de STDP, il est nécessaire qu'un pic soit généré dans le poisson-chat. Après cela, les synapses devraient rapidement le découvrir. Pour ce faire, il est souhaitable que la pointe se propage vers eux depuis le monticule des axones. La bonne nouvelle est que cela se produit réellement. Un neurone envoie un pic non seulement à d'autres neurones, mais aussi à ses dendrites. La "mauvaise" nouvelle est qu'avec la propagation arrière, cette pointe s'estompe. Trop rapide pour atteindre des dendrites éloignées. Maintenant, il est clair pourquoi la formation des synapses proches et lointaines est différente. Reste à comprendre ce qui se passe dans les synapses lointaines.

Il est important de rappeler ici que les dendrites ne sont pas des conducteurs passifs de perturbations. Ils savent eux-mêmes générer des pics lorsqu'ils "le jugent nécessaire". Si pour une raison quelconque, la dendrite a généré une pointe, et en même temps qu'une pointe pourrie du poisson-chat est entrée dans cette zone, alors, après avoir formé avec la pointe dendritique, elle (peut-être) recevra un ~~coup de pied,~~ pour ainsi dire, et pourra se propager plus loin dans ce sous-arbre. Au moins, il existe une telle hypothèse. Une autre hypothèse est que peut-être les synapses sur les dendrites éloignées sont généralement entraînées sans l'utilisation d'un pic somatique se propageant vers l'arrière. Plus d'informations à ce sujet ci-dessous.

Effets intéressants dans les dendrites - les pointes dendritiques suffisent pour la plasticité

Alors, de quoi avez-vous besoin pour que la synapse commence à prendre du poids? Il est nécessaire qu'à cet endroit du neurone la machinerie chimique correspondante soit allumée. Pour cela, à son tour, il est nécessaire que le potentiel sur la membrane à cet endroit soit déplacé par une perturbation suffisamment importante . Comment peut-il être créé? L'EPSP moyen habituel est trop petit pour cela. Mais la somme de l'EPSP et de la commissure somatique à propagation arrière peut déjà convenir. Pendant un certain temps, on pensait que c'était le principal moyen de provoquer la plasticité.

Puis, dans les expériences, il s'est avéré qu'il était possible de supprimer artificiellement les adhérences somatiques dans un neurone tout en enregistrant une augmentation de poids dans ses synapses en réponse à leur stimulation (pas n'importe laquelle). Il s'est avéré que la plasticité se produit lorsque la stimulation des synapses est suffisamment forte pour que des commissures dendritiques apparaissent à cet endroit. Ils sont une indignation assez forte pour déclencher la plasticité en ce lieu. [2] Oui, oui, sans la participation du reste du neurone. Autrement dit, «l'élément minimal» du traitement de l'information peut être considéré non même comme un neurone, mais comme une branche dendritique distincte.

Effets intéressants dans les dendrites - clustering

Dans les neurones hippocampiques, il a été constaté que le LTP (gain de poids à long terme) d'une synapse abaisse le seuil pour que le LTP se produise dans les synapses voisines. Ensuite, une étude a été menée pour les neurones du cortex sensoriel de la souris, dans laquelle les neurones ont traité les données des moustaches. Et il a été constaté que la plasticité synaptique a tendance à se regrouper.

Un neurone spécifique a été prélevé et 15% des synapses, les plus soumises à la plasticité, ont été sélectionnées. Leur distribution par neurone n'était pas accidentelle: une partie importante s'est avérée être voisine - 50 sur 161. Ensuite, un neurone a été prélevé dans le cortex sensoriel de la souris, d'où la moustache a été coupée (c'est-à-dire que le neurone souffrait d'un manque d'information). L'effet de regroupement était absent dans un tel neurone. Mais il était globalement plus sensible aux signaux d'entrée [3] .

Effets intéressants dans les dendrites - tout change du réarrangement des termes

Alors, laissez deux EPSP venir à notre dendrite, comme dans l'image ci-dessus. La perturbation qu'ils provoquent dans le soma dépend non seulement de l'ampleur de ces EPSP, mais aussi de:

1) leur distance du soma
2) leur distance les uns des autres

. Si l'EPSP venait de la synapse à la dendrite, il se propagerait au poisson-chat et se décomposerait en cours de route. Autrement dit, plus il était loin, plus il s'estomperait. Et si une synapse inhibitrice activée se met en travers de son chemin, l'EPSP s'éteindra immédiatement. Ainsi, si nous avions deux EPSP assez éloignés l'un de l'autre, alors ils apporteraient deux petites perturbations au soma - et puis si vous aviez de la chance.

Mais s'ils étaient côte à côte, la dendrite peut générer un pic à cet endroit. Il s'agit d'une telle perturbation dans laquelle l'amplitude est supérieure à la simple somme des EPSP. La pointe dendritique est déjà beaucoup plus susceptible de courir vers le poisson-chat, et la contribution sera plus importante. [4] .

Lien de synchronisation des fonctionnalités

(la synchronisation encode la relation, la liaison des caractéristiques)

Des paragraphes précédents, il s'ensuit que la synchronisation relative des pics est importante pour les processus de plasticité dans les synapses. Et dans cette optique, on ne peut pas contourner le phénomène de synchronisation temporelle des neurones. Ce phénomène est omniprésent et, apparemment, très fondamental, car manger à tous les niveaux du cerveau. Prenons un exemple spécifique.

Des électrodes sont implantées dans le cortex visuel, puis divers stimuli visuels lui sont montrés. Sur les enregistrements des électrodes, on voit que certains groupes de neurones sont impliqués dans une activité oscillatoire synchrone en phase. Ces neurones peuvent se trouver à différents endroits. Les neurones ont tendance à se synchroniser s'ils étaient activés par des contours de l'image, qui sont soit continus, soit se déplacent à la même vitesse et dans une direction (principe du destin commun). Pour le cortex visuel, la probabilité de synchronisation est corrélée avec la mesure dans laquelle les stimuli d'entrée satisfont au critère de Gestalt .

_{Tous les points verts ici ne sont pas perçus séparément, mais dans leur ensemble}

L'hypothèse de travail suggère que le cortex utilise la synchronisation de la décharge dans les neurones pour coder la relation «entière» sur les portions de signal auxquelles ces neurones ont répondu. C'est-à-dire De plus, leurs réponses seront traitées comme une seule unité par des réseaux de neurones de niveau supérieur, car ce sont précisément ces pointes qui y arriveront en même temps, ce qui signifie que je résumerai avant de disparaître.

La synchronisation de l'activité dans le cortex à grande distance est une condition préalable pour que le signal qui a fait que cette activité (par exemple, un mot soit vu) ait accès à la zone de perception consciente. Un signal similaire, traité inconsciemment, ne provoquera qu'une synchronisation locale [5] .

La synchronisation des populations de neurones fait l'objet d'investigations [6] .

Plasticité non synaptique

En plus des poids des synapses, d'autres caractéristiques du neurone peuvent également subir des changements pendant l'entraînement. Son excitabilité générale peut changer (lire, le seuil de génération de pointes). Si de nombreux poids sont renforcés, il est logique qu'un neurone diminue son excitabilité. Et si au contraire - un faible niveau de changement dans les échelles, alors il est logique d'augmenter.

Un autre exemple - un axone peut changer le temps pendant lequel il atteindra les destinataires. Pourtant - si vous stimulez un neurone à basse fréquence pendant une longue période, cela réduit son excitabilité, et c'est un effet à long terme.

Rejouer

Dans l'hippocampe, il y a des neurones qui répondent à un endroit spécifique de l'espace. Les cellules du lieu s'appellent. Autrement dit, si le rat est à un endroit du labyrinthe, alors une cellule de l'endroit réagit au maximum, si dans un autre - un autre. Lorsque le rat dort ou se repose, dans l'hippocampe ces séquences de cellules de l'endroit qui correspondent aux distances réellement parcourues avant que ces routes ne commencent à jouer à un rythme accéléré. Pour les cellules restantes, cela n'est pas observé, c'est-à-dire que ces séquences ne sont pas aléatoires.

Sur l'image: le rat suit une trajectoire rectiligne, et la cage «bleue» du lieu est activée en premier, puis «rouge», puis «verte». Elle reçoit ensuite du renfort et la lecture accélérée de cette séquence dans l'ordre inverse «bleu rouge vert» commence.
De plus, l'hippocampe peut jouer dans des lieux futurs avant que le rat ne les visite réellement (pré-lecture).

Non moins intéressant - le processus de rejeu dans un rêve affecte également le cortex cérébral. Autrement dit, à la fois dans le cortex et dans l'hippocampe, il est répliqué qui est lié à la même expérience vécue lors de la veille précédente [7] . Il existe une hypothèse selon laquelle l'hippocampe est un module de mémorisation rapide et le cortex est destiné à un apprentissage profond lent. Peut-être que l'hippocampe se souvient des événements d'épisode dans l'ordre dans lequel ils sont suivis, puis les «perd» dans le cortex encore et encore à un rythme accéléré afin qu'il retire des motifs cachés de ces séquences. Ensuite, il est clair pourquoi un patient avec un hippocampe distant perd la capacité de créer de nouveaux souvenirs à long terme, mais ne perd pas ceux qui ont été faits avant l'opération.

L-LTP ( LTP en phase tardive )

La longévité des changements de poids des synapses dépend non seulement du stimulus initial qui les a provoqués, mais également des événements survenus avant et après . Les expériences montrent que la mémoire à court terme d'un stimulus peut être consolidée en un plus long si l'animal connaît un événement fort à l'intérieur d'une certaine fenêtre de temps autour de ce stimulus. Ceci est enregistré au niveau des neurones individuels. Laissez un protocole de stimulation réussir à provoquer une amélioration des synapses à court terme. Cela peut être fait à long terme si un fort stimulus (tétaniquement) stimule un autre chemin convergeant sur le même neurone (à l'intérieur de la fenêtre temporelle correcte, bien sûr).

Inhibition latérale

(inhibition latérale, inhibition surround, suppression surround)

Ce principe simple est connu des scientifiques de l'époque des grottes. Peut-être avez-vous vu des illusions comme celle-ci:

à l'aube des neurosciences, on pensait qu'un neurone recherchait un stimulus dans son champ récepteur, et si le stimulus souhaité y était trouvé, alors le neurone générait intensément des pointes. S'il n'a pas été tout à fait trouvé, mais il semble - il génère également des pointes, mais pas si intensément. Et puis il s'est avéré que l'activité d'un neurone peut être supprimée par des activités extérieures à son champ récepteur .

En plus du réseau excitateur (c'est aussi le principal), il y en a un de plus dans le cerveau - un réseau d'interneurones inhibiteurs. Les neurones «principaux» fournissent une excitation dans le réseau et les interneurones, en règle générale, l'inhibent. Les interneurones ont un champ d'action local. Il y a plus de neurones majeurs que d'interneurones, mais les interneurones sont plus diversifiés. Plus précisément, l'illusion visuelle mentionnée est supposée être prise en raison de l'interaction des neurones excitateurs avec ceux inhibiteurs. La logique du processus est la suivante: plus le neurone est activé, plus il inhibe (à l'aide des interneurones) l'activité du voisinage. Les neurones excitateurs se font concurrence pour avoir le droit d'apporter la plus grande contribution au signal pour la prochaine couche de neurones. Si vous étiez très activé, vous ralentirez considérablement les voisins. Si les voisins ont été faiblement activés, ils vous ralentiront légèrement.En conséquence, toutes les non-linéarités dans les données d'entrée "ressortent" encore plus, et la couche suivante fonctionnera déjà avec cela.

Une illustration très claire du principe

- . , , .

Détecteurs d'erreur de prédiction [8]

Les neurones dopaminergiques apprennent à lier une sorte de «clés» dans le signal d'entrée pour recevoir une récompense. Ils utilisent l'algorithme suivant:

(1) Si une récompense imprévisible se produit, les neurones répondent en augmentant la fréquence des pointes ( nous avons une erreur positive ).
(2) Après la formation, ils réagissent déjà à «l'événement clé» et non au prix lui-même. C'est-à-dire sur le prédécesseur de la récompense, ils émettent une augmentation de fréquence. Et pour la récompense, si elle arrive dans les délais, il n'y a pas de réaction ( on ne se trompe pas ).
(3) Si un neurone entraîné a prédit une récompense, mais que cela ne s'est pas produit, il répond en diminuant la fréquence des pointes ( nous avons une erreur négative )

On pense qu'il n'y a pas seulement une formation associative, mais l'établissement d'une relation «de cause à effet». C'est-à-dire, par exemple, que les nuages d'orage sont en corrélation avec la pluie, car souvent cela arrive - vous voyez des nuages, puis vous voyez de la pluie. La même chose se produit avec un parapluie: vous voyez des parapluies chez les gens, puis vous voyez de la pluie. Mais si au moins une fois la pluie a commencé sans parapluies, il est déjà clair que les parapluies ne sont pas la cause de la pluie.

Bonus pour ceux qui lisent: l'apparition d'un réflexe conditionné sur un neurone spécifique

, - . : , ( ) , . , . .

, — . , , . “ ”. . , , -. . ( ) :

1) 100 000 ( )
2) ( - inferior olive)

( , ), — . , , , :

, (), (). — , — (ISI) (CS) (US) , .

, , . , . . , , - .[9].
, (supervised learning), , (unsupervised learning), — (reinforcement).

Conclusion

À première vue, le même STDP peut sembler être un algorithme d'apprentissage complet pour les réseaux de neurones à pointes. Mais en réalité, il n'existe actuellement aucun modèle d'apprentissage efficace des pointes artificielles. Autrement dit, ils peuvent faire quelque chose - par exemple, donner 95% sur la référence MNIST - mais les tâches les plus non triviales sur eux ne sont pas très bonnes.

Beaucoup plus de progrès ces dernières années ont été enregistrés dans les réseaux où les pics sont absents en tant que classe. Les algorithmes d'apprentissage y sont basés sur une descente de gradient sur la surface de l'erreur, où l'erreur est fonction des poids de synapse. Le travail avec l'aspect du temps est réalisé grâce à des rétroactions dans la topologie. L'attention et le renforcement sont introduits avec succès dans ces réseaux. Dans ce contexte, les modèles de pointe semblent toujours «médiocres».

Laquelle de celles-ci est la conclusion? C'est difficile à dire avec certitude. Des percées dans les réseaux de pointes nous attendent peut-être encore: ce n'est pas pour rien que le cerveau est constitué de neurones à pointes. Et peut-être que les modèles de pointe actuels n'ont tout simplement pas la puissance de traitement de notre matériel pour «se montrer». Enfin, les pointes sont peut-être une caractéristique de bas niveau du bio-fer, au-dessus de laquelle le cerveau met en œuvre la même descente de gradient par erreur sous une forme ou une autre. Cependant, cela n'est pas inclus dans l'hypothèse de travail actuelle de la neurobiologie en raison du manque de motifs.

Quelques algorithmes sous le capot du cerveau