👨🏼‍🎤 ⚪️ 🅰️ Einige Algorithmen unter der Haube des Gehirns 🏼 🤱🏻 💱

Vor einiger Zeit wollte ich moderne Materialien zur Neurobiologie aus der Sicht eines Programmierers studieren. Das heißt, die grundlegenden Algorithmen aus ihnen zu extrahieren, nachdem sie von unnötigen chemischen / biologischen Details befreit wurden.

Wenn jemand künstliche neuronale Netze liebt und nach Inspiration in der Natur suchen möchte, kann dieser Artikel erscheinen. Natürlich war es nicht möglich, alles in einem Artikel zu behandeln - es gibt viele Daten.

Zunächst eine kurze Beschreibung der Arbeit des Bio-Neurons, damit die weitere klar ist. Wer die Grundlagen bereits kennt - zögern Sie nicht zu überspringen.

Biologisches Neuron: Wels, Dendriten, Synapsen, Spike, EPSP, Membranpotential

: ( ), , . , , . . — . . . .

, , . , . “ ” ,“” “U”. , . . U.

, . , U . — . . , , . , , . “+” EPSP (). “-” IPSP ().

. EPSP- IPSP- , , , . , .

, , , . , . , . , , . . , EPSP , .

. , . “ ” . , . , , (. ).

— . — . EPSP — “”. , , , . EPSP ( ) , , .. , .

STDP

Es wird angenommen, dass die Grundlage des Langzeitgedächtnisses darin besteht, wie die Effizienz über die Synapsen von Neuronen verteilt wird. Einige Synapsen sind geschwächt, andere gestärkt. Dies nennt man Duktilität. Aber nach welchem Algorithmus wird entschieden, welche Synapsen und wie sie ihre Gewichte ändern? Das bekannteste Prinzip in lebenden neuronalen Netzen ist die Spike-Timing-abhängige Plastizität .

Es wird von Insekten bis zu Menschen beobachtet und wie folgt formuliert:

Wenn die Eingangsspitze zu dieser Synapse dazu neigt, kurz bevor das Neuron selbst die Spitze erzeugt, wird die Synapse verstärkt.
Wenn die Eingangsspitze zu dieser Synapse dazu neigt, unmittelbar nach der Erzeugung der Spitze durch das Neuron selbst zu kommen, wird die Synapse geschwächt.

Diejenigen Inputs, die zum Anstieg beigetragen haben, haben in Zukunft mehr Priorität und werden nicht weniger beigetragen. Der Vorgang wird fortgesetzt, bis eine bestimmte Teilmenge der ursprünglichen Gewichte übrig ist, und der Rest wird auf Null reduziert. Wir werden die Tatsache berücksichtigen, dass ein Neuron eine Spitze erzeugt, wenn viele seiner Eingaben sofort in einem kurzen Zeitfenster aktiviert werden . Daraus kann angenommen werden, dass die verbleibenden Nicht-Null-Eingaben zeitliche Korrelationen hatten.

_{Abhängigkeit der Zunahme / Abnahme des Gewichts der Synapse von der Δt-Honig-Eingabe (vor) und der Ausgabe (nach) Spitze}

Dieses Phänomen ist sehr bekannt und wurde in vielen Experimenten bestätigt. Es sollte jedoch beachtet werden, dass Sie durch Durchlaufen verschiedener experimenteller Protokolle immer noch eine Verzerrung / Verletzung dieses Gesetzes erreichen können, nicht Verstoß gegen die formalen Anforderungen für Pre-Post-Spikes [0].

(, ) , ( , ). — , , — , STDP, .

Für Synapsen in der Nähe von Wels wird der Zeitplan klassisch aussehen - als Variation des Themas Hebb-Training. Das heißt, wie im obigen Bild. Je weiter vom Wels entfernt, desto kleiner ist die Amplitude dieses Trainings. Und wenn Sie entfernte Synapsen nehmen, können Sie sehr seltsame Dinge sehen. Wenn beispielsweise die Eingangsspitze (die zur Synapse kam) der Ausgabe vorausging, beobachtete das Experiment keine Verstärkung, sondern eine Dämpfung dieser Synapse. Antihebbovskoe Training, Karl! Es war jedoch möglich, es in den Hebb-Kanal zurückzuführen, wenn an entfernten Dendriten dendritische Adhäsionen erzeugt wurden. Im Allgemeinen ist beim Training der Synapsen, die dem Wels am nächsten liegen, alles ziemlich klar, aber bei den entfernten sieht es so aus, als ob es ein ~~Durcheinander mit einem~~ anderen Lernalgorithmus gibt [1] .

Mal sehen, woher die Beine kommen. Für die Iteration von STDP ist es daher erforderlich, dass im Wels eine Spitze erzeugt wird. Danach sollten die Synapsen schnell etwas über ihn erfahren. Zu diesem Zweck ist es wünschenswert, dass sich die Spitze vom Axonhügel auf sie ausbreitet. Die gute Nachricht ist, dass dies tatsächlich geschieht. Ein Neuron sendet einen Spike nicht nur an andere Neuronen, sondern auch an seine Dendriten. Die "schlechte" Nachricht ist, dass mit der Ausbreitung des Rückens diese Spitze verblasst. Zu schnell, um entfernte Dendriten zu erreichen. Jetzt ist klar, warum das Training von nahen und fernen Synapsen unterschiedlich ist. Es bleibt abzuwarten, was in den fernen Synapsen passiert.

, . , « ». - , , , , ( ) - . , . — , . .

—

Was brauchen Sie also, damit die Synapse an Gewicht zunimmt? Es ist notwendig, dass an dieser Stelle des Neurons die entsprechende chemische Maschinerie eingeschaltet ist. Dazu ist es wiederum notwendig, dass das Potential an der Membran an dieser Stelle durch eine ausreichend große Störung verschoben wird . Wie kann es erstellt werden? Der übliche durchschnittliche EPSP ist dafür zu klein. Die Menge an EPSP und die sich zurück ausbreitende somatische Kommissur kann jedoch bereits geeignet sein. Seit einiger Zeit glaubte man, dass dies der Hauptweg ist, um Plastizität zu verursachen.

Dann stellte sich in den Experimenten heraus, dass es möglich war, somatische Adhäsionen in einem Neuron künstlich zu unterdrücken und dennoch eine Gewichtszunahme in seinen Synapsen als Reaktion auf ihre Stimulation zu registrieren (keine). Es stellte sich heraus, dass Plastizität auftritt, wenn die Stimulation von Synapsen stark genug ist, damit an dieser Stelle dendritische Kommissuren auftreten. Sie sind stark genug empört , um an dieser Stelle Plastizität auszulösen. [2] Ja, ja, ohne die Beteiligung des restlichen Neurons. Das heißt, das „minimale Element“ der Informationsverarbeitung kann nicht einmal als Neuron betrachtet werden, sondern als separater dendritischer Zweig.

Interessante Effekte bei Dendriten - Clustering

, LTP ( ) LTP . , . , .

, 15% , . : — 50 161. , ( ). . [3].

Interessante Effekte bei Dendriten - alles ändert sich durch die Neuordnung von Begriffen

Lassen Sie also zwei EPSPs zu unserem Dendriten kommen, wie im obigen Bild. Die Störung, die sie im Soma verursachen, hängt nicht nur von der Größe dieser EPSPs ab, sondern auch von:

1) ihrem Abstand zum Soma
2) ihrem Abstand voneinander.

Betrachten wir die Reihenfolge. Wenn EPSP von der Synapse zum Dendriten gelangt, breitet es sich auf den Wels aus und zerfällt auf dem Weg. Das heißt, je weiter es war, desto mehr wird es verblassen. Und wenn eine aktivierte inhibitorische Synapse im Weg ist, stirbt EPSP sofort aus. Wenn wir also zwei ziemlich weit voneinander entfernte EPSPs hätten, würden sie zwei kleine Störungen in das Soma bringen - und wenn Sie Glück haben.

Wenn sie jedoch nebeneinander liegen, kann der Dendrit an dieser Stelle eine Spitze erzeugen. Dies ist eine solche Störung, bei der die Amplitude größer ist als nur die Summe der EPSPs. Es ist bereits viel wahrscheinlicher, dass die dendritische Spitze zum Wels läuft, und der Beitrag wird größer sein. [4] .

Link bietet Synchronisation

(Synchronisation codiert Beziehung, Merkmalsbindung)

Aus den vorhergehenden Absätzen folgt, dass das relative Timing von Spitzen für Plastizitätsprozesse in Synapsen wichtig ist. Und in diesem Licht kann man das Phänomen der zeitlichen Synchronisation von Neuronen nicht umgehen. Dieses Phänomen ist allgegenwärtig und anscheinend sehr grundlegend, weil essen auf allen Ebenen des Gehirns. Betrachten Sie ein bestimmtes Beispiel.

Elektroden werden in den visuellen Kortex implantiert, und dann werden ihm verschiedene visuelle Reize gezeigt. Aus den Aufzeichnungen der Elektroden ist ersichtlich, dass einige Gruppen von Neuronen an der gleichphasensynchronen Oszillationsaktivität beteiligt sind. Diese Neuronen können sich an verschiedenen Orten befinden. Neuronen neigen dazu, sich zu synchronisieren, wenn sie durch Konturen im Bild aktiviert wurden, die entweder kontinuierlich sind oder sich mit derselben Geschwindigkeit und in eine Richtung bewegen (das Prinzip des gemeinsamen Schicksals). Für den visuellen Kortex korreliert die Wahrscheinlichkeit der Synchronisation damit, wie sehr die Eingabestimuli das Gestaltkriterium erfüllen .

_{Alle grünen Punkte werden hier nicht einzeln, sondern als Ganzes wahrgenommen}

Die Arbeitshypothese legt nahe, dass der Kortex die Entladungssynchronisation in Neuronen verwendet, um die "gesamte" Beziehung über die Signalteile zu codieren, auf die diese Neuronen reagierten. Das heißt, Darüber hinaus werden ihre Antworten von übergeordneten neuronalen Netzen als eine Einheit verarbeitet, da genau diese Spitzen gleichzeitig dort eintreffen, was bedeutet, dass ich sie zusammenfassen werde, bevor sie ausgeblendet werden.

Die Synchronisation der Aktivität im Kortex über große Entfernungen ist eine Voraussetzung dafür, dass das Signal, das diese Aktivität (z. B. ein Wort zu sehen) verursacht hat, Zugang zur Zone der bewussten Wahrnehmung erhält. Ein ähnliches Signal, das unbewusst verarbeitet wird, verursacht nur eine lokale Synchronisation [5] .

Wie Neuronenpopulationen synchronisiert werden, ist Gegenstand der Untersuchung [6] .

Nicht-synaptische Plastizität

Zusätzlich zu den Synapsengewichten können sich während des Trainings auch andere Eigenschaften des Neurons ändern. Seine allgemeine Erregbarkeit kann sich ändern (lesen Sie den Schwellenwert für die Spike-Erzeugung). Wenn sich viele Gewichte verstärkt haben, ist es für ein Neuron sinnvoll, seine Erregbarkeit zu verringern. Und wenn im Gegenteil - eine geringe Veränderung der Skalen - dann ist es sinnvoll, zu erhöhen.

Ein weiteres Beispiel: Ein Axon kann die Zeit ändern, in der es den Empfängern einen Spitzenwert verleiht. Dennoch - wenn Sie ein Neuron für eine lange Zeit mit niedriger Frequenz stimulieren, verringert es seine Erregbarkeit, und dies ist ein Langzeiteffekt.

Wiederholen

Im Hippocampus gibt es Neuronen, die auf einen bestimmten Ort im Raum reagieren. Die Zellen des Ortes heißen. Das heißt, wenn sich die Ratte an einem Ort des Labyrinths befindet, reagiert eine Zelle des Ortes maximal, wenn es sich an einem anderen Ort um eine andere handelt. Wenn die Ratte schläft oder sich ausruht, werden im Hippocampus die Zellsequenzen des Ortes, die den tatsächlich zurückgelegten Entfernungen entsprechen, beschleunigt, bevor diese Routen zu spielen beginnen. Für die verbleibenden Zellen wird dies nicht beobachtet, dh diese Sequenzen sind nicht zufällig.

Im Bild: Die Ratte folgt einer direkten Spur, und der „blaue“ Käfig des Ortes wird zuerst aktiviert, dann „rot“ und dann „grün“. Dann erhält sie Verstärkung und die beschleunigte Wiedergabe dieser Sequenz in umgekehrter Reihenfolge beginnt mit „blau rot grün“.
, , , (preplay).

— . , , , [7]. , — , — . , - , “” , . , , , .

L-LTP (Spätphasen- LTP )

Die Langlebigkeit von Änderungen der Synapsengewichte hängt nicht nur von dem anfänglichen Reiz ab, der sie verursacht hat, sondern auch von Ereignissen, die vorher und nachher auftreten . Experimente zeigen, dass das Kurzzeitgedächtnis eines Stimulus zu einem längeren konsolidiert werden kann, wenn das Tier innerhalb eines bestimmten Zeitfensters um diesen Stimulus ein starkes Ereignis erfährt. Dies wird auf der Ebene einzelner Neuronen aufgezeichnet. Angenommen, ein Stimulationsprotokoll konnte kurzfristig zu einem Anstieg der Synapse führen. Es kann langfristig erfolgen, wenn ein starker Stimulus (tetanisch) einen anderen Pfad stimuliert, der auf demselben Neuron konvergiert (natürlich innerhalb des richtigen Zeitfensters).

Seitliche Hemmung

(laterale Hemmung, Surround-Hemmung, Surround-Unterdrückung)

Dieses einfache Prinzip ist Wissenschaftlern aus Höhlenzeiten bekannt. Vielleicht haben Sie Illusionen wie diese gesehen:

Zu Beginn der Neurowissenschaften glaubte man, dass ein Neuron nach einem Reiz in seinem Empfangsfeld suchte, und wenn der gewünschte Reiz dort gefunden wurde, erzeugte das Neuron intensiv Spitzen. Wenn es nicht ganz gefunden wurde, aber es scheint - es erzeugt auch Spitzen, aber nicht so intensiv. Und dann stellte sich heraus, dass die Aktivität eines Neurons durch Aktivitäten von außerhalb seines Empfangsfeldes unterdrückt werden kann .

Neben dem exzitatorischen Netzwerk (es ist auch das Hauptnetzwerk) gibt es im Gehirn noch eines - ein Netzwerk inhibitorischer Interneurone. Die „Hauptneuronen“ sorgen für Anregung im Netzwerk, und Interneurone hemmen diese in der Regel. Interneurone haben einen lokalen Aktionsbereich. Es gibt mehr Hauptneuronen als Interneurone, aber Interneurone sind vielfältiger. Insbesondere wird die erwähnte visuelle Illusion angeblich aufgrund der Wechselwirkung von exzitatorischen Neuronen mit inhibitorischen Neuronen aufgenommen. Die Logik des Prozesses lautet: Je mehr das Neuron aktiviert wird, desto mehr hemmt es (mit Hilfe von Interneuronen) die Aktivität in der Nachbarschaft. Exzitatorische Neuronen konkurrieren miteinander um das Recht, den größten Beitrag zum Signal für die nächste Neuronenschicht zu leisten. Wenn Sie sehr aktiviert waren, werden Sie die Nachbarn stark verlangsamen. Wenn die Nachbarn schwach aktiviert waren, werden sie Sie etwas verlangsamen.Infolgedessen werden alle Nichtlinearitäten in den Eingabedaten noch stärker "herausragen", und die nächste Ebene wird bereits damit arbeiten.

Eine sehr klare Darstellung des Prinzips

- . , , .

Vorhersagefehlerdetektoren [8]

Dopamin-Neuronen lernen, eine Art „Schlüssel“ im Eingangssignal zu binden, um eine Belohnung zu erhalten. Sie verwenden den folgenden Algorithmus:

(1) Wenn eine unvorhersehbare Belohnung auftritt, reagieren Neuronen, indem sie die Häufigkeit von Spitzen erhöhen ( wir haben einen positiven Fehler ).
(2) Nach dem Training reagieren sie bereits auf das „Schlüsselereignis“ und nicht auf die Auszeichnung selbst. Das heißt, auf den Vorgänger der Belohnung geben sie eine Erhöhung der Häufigkeit aus. Und für die Belohnung, wenn es im Zeitplan kommt, gibt es keine Reaktion ( wir haben keinen Fehler ).
(3) Wenn ein trainiertes Neuron eine Belohnung vorhergesagt hat, dies jedoch nicht geschehen ist, verringert es die Häufigkeit von Spitzen ( wir haben einen negativen Fehler ).

Es wird angenommen, dass es nicht nur assoziatives Training gibt, sondern auch die Herstellung einer „Ursache-Wirkung“ -Beziehung. Das heißt, Gewitterwolken korrelieren zum Beispiel mit Regen, weil es oft vorkommt - man sieht Wolken und dann sieht man Regen. Das gleiche passiert mit einem Regenschirm: Man sieht Regenschirme in Menschen und dann sieht man Regen. Aber wenn der Regen mindestens einmal ohne Regenschirme begann, ist bereits klar, dass Regenschirme nicht die Ursache für Regen sind.

Bonus für diejenigen, die lesen: das Auftreten eines konditionierten Reflexes an einem bestimmten Neuron

, - . : , ( ) , . , . .

, — . , , . “ ”. . , , -. . ( ) :

1) 100 000 ( )
2) ( - inferior olive)

( , ), — . , , , :

, (), (). — , — (ISI) (CS) (US) , .

, , . , . . , , - .[9].
, (supervised learning), , (unsupervised learning), — (reinforcement).

Fazit

Auf den ersten Blick scheint dieselbe STDP ein vollständiger Lernalgorithmus für Netzwerke von Spike-Neuronen zu sein. In der Realität gibt es derzeit jedoch keine effektiven Lernmodelle für künstliche Spikes. Das heißt, sie können etwas tun - zum Beispiel 95% des MNIST-Benchmarks ausgeben -, aber die nicht trivialeren Aufgaben sind nicht sehr gut.

In den letzten Jahren wurden in Netzwerken, in denen als Klasse keine Spitzen fehlen, viel mehr Fortschritte erzielt. Die dortigen Trainingsalgorithmen basieren auf einem Gradientenabstieg über die Oberfläche des Fehlers, wobei der Fehler eine Funktion der Synapsengewichte ist. Die Arbeit mit dem Zeitaspekt wird durch Rückmeldungen in der Topologie erreicht. Aufmerksamkeit und Verstärkung werden erfolgreich in diese Netzwerke eingeführt. Vor diesem Hintergrund sehen Spike-Modelle immer noch „arm“ aus.

Welche davon ist die Schlussfolgerung? Es ist schwer zu sagen. Vielleicht warten noch Durchbrüche in Spike-Netzwerken auf uns: Nicht umsonst besteht das Gehirn aus Spike-Neuronen. Und vielleicht haben die aktuellen Spike-Modelle einfach nicht die Rechenleistung unserer Hardware, um sich "zu zeigen". Schließlich sind Spikes möglicherweise ein geringes Merkmal von Bioeisen, auf dem das Gehirn versehentlich in irgendeiner Form den gleichen Gradientenabstieg durchführt. Dies ist jedoch aufgrund fehlender Gründe nicht in der aktuellen Arbeitshypothese der Neurobiologie enthalten.

Einige Algorithmen unter der Haube des Gehirns