Neuronales Netz
Bild von brentsview, lizenziert unter CC BY-NC 2.0Das Gehirn empfängt Informationen von der Außenwelt, seine Neuronen empfangen Daten bei der Eingabe, verarbeiten und produzieren ein bestimmtes Ergebnis. Es kann ein Gedanke sein (ich möchte Curry zum Abendessen), eine Aktion (Curry machen), eine Stimmungsänderung (Hurra, Curry!). Was auch immer am Ausgang passiert, dieses „Etwas“ ist die Umwandlung von Daten von der Eingabe (Menü) in das Ausgabeergebnis („Huhn Dhansak, bitte“). Und wenn Sie sich das Gehirn als Konverter mit Eingabe zu Ausgabe vorstellen, ist eine Analogie mit einem Computer unvermeidlich.
Für einige ist dies nur ein nützliches rhetorisches Mittel, für andere ist es eine ernsthafte Idee. Aber das Gehirn ist kein Computer. Ein Computer ist jedes Neuron. Es gibt 17 Milliarden Computer in der Großhirnrinde.
Schauen Sie sich das an:
Pyramidales Neuron in 2D projiziert. Der schwarze Fleck in der Mitte ist der Körper des Neurons, und der Rest der Drähte sind seine Dendriten. Bild: Alain DextesDies ist ein Bild eines pyramidenförmigen Neurons. Solche Zellen machen den größten Teil des Kortex Ihres Gehirns aus. Der Punkt in der Mitte ist der Körper des Neurons, und Dendriten, Wicklungsdrähte, die Eingaben von anderen nahen und fernen Neuronen sammeln, dehnen sich und verzweigen sich in alle Richtungen. Die Eingabedaten erstrecken sich über die gesamte Länge jedes Dendriten, einige direkt neben dem Körper und andere weit an den Spitzen. Es ist wichtig, wo genau das Signal ankommt.
Viele verstehen nicht, wie wichtig der Ort der Eingabe ist. Normalerweise wird die Arbeit von Neuronen auf die Idee eines einfachen Addierers reduziert. In dieser Idee sind Dendriten einfach Geräte zum Sammeln von Eingabedaten. Wenn Sie jeden Eingang einzeln aktivieren, ändert sich die Spannung im elektrischen neuronalen Netz geringfügig. Wenn wir den Strom aller Dendriten zusammenfassen, wird ein dendritisches Aktionspotential (Spike) erzeugt, das entlang des Axons abfällt und zum Eingang für andere Neuronen wird.
Ein Neuronenmodell mit Summierung von Eingangssignalen und Erzeugung eines dendritischen Aktionspotentials, wenn die Summe der Eingänge einen Schwellenwert überschreitet (grauer Kreis)Dies ist ein praktisches mentales Modell, das allen künstlichen neuronalen Netzen zugrunde liegt. Aber sie liegt falsch.
Dendriten sind nicht nur Drahtstücke. Sie haben auch ein eigenes Gerät zur Erzeugung von Spikes. Wenn in einem kleinen Bereich des Dendriten eine ausreichende Anzahl von Eingängen aktiviert ist, werden diese verstärkt:
Zwei farbige Gerinnsel sind zwei Eingänge zu einer Dendritenstelle. Wenn sie sich selbst aktivieren, erzeugt jeder eine Antwort. Der graue Pfeil in der Abbildung zeigt die Aktivierung dieses Eingangs an (die Antwort bedeutet hier "Spannungsänderung"). Bei gemeinsamer Aktivierung ist die Antwort größer (durchgezogene Linie) als die Summe der einzelnen Eingaben (gestrichelte Linie).Das Verhältnis zwischen der Anzahl der aktiven Eingänge und der Antwortgröße in einem kleinen Bereich des Dendriten ist wie folgt:
Die Größe der Antwort in einem Zweig des Dendriten als Reaktion auf eine Zunahme der Anzahl aktiver Eingaben. Ein lokaler „Spike“ ist ein scharfer Sprung von minimalen zu großen ReaktionenWir sehen einen lokalen Anstieg: einen plötzlichen Sprung von einer Reaktion von fast Null auf mehrere Eingaben zu einer sehr großen Reaktion mit der Hinzufügung einer weiteren. Dieser Abschnitt des Dendriten arbeitet "superlinear", hier 2 + 2 = 6.
Seit
vielen Jahren kennen wir diese lokalen Ausbrüche in einzelnen Bereichen des Dendriten. Wir haben Spitzen in Neuronen
an Abschnitten des Gehirns gesehen . Wir haben sie
bei Tieren unter Narkose gesehen , die ihre Pfoten kitzelten (ja, das Gehirn fühlt sich immer noch bewusstlos; die Antwort stört es einfach nicht). In jüngerer Zeit haben wir sie in
tierischen Dendriten von Neuronen
in Bewegung gesehen (ja, Moore und Kollegen haben ein EM-Feld wenige Mikrometer vom Gehirn einer laufenden Maus entfernt aufgenommen; verrückt, oder?). Die Dendriten des Pyramidenneurons erzeugen wirklich Kommissuren.
Aber warum verändert dieser lokale Ausbruch unser Verständnis des Gehirns als Computer? Weil die Dendriten des Pyramidenneurons
viele getrennte Zweige haben. Und jeder kann das Ergebnis berechnen und für Furore sorgen. Dies bedeutet, dass jeder Zweig des Dendriten als kleines nichtlineares Ausgabegerät fungiert und einen lokalen Burst addiert und ausgibt, wenn dieser Zweig ungefähr zur gleichen Zeit eine ausreichende Anzahl von Eingaben empfängt:
Deja vu. Ein dendritischer Zweig fungiert als kleines Gerät zum Summieren der Eingaben und zum Ausgeben eines Bursts, wenn gleichzeitig genügend Eingaben eingetroffen sind. Und die Transformation von Eingabe zu Ausgabe (grauer Kreis) ist das gleiche Diagramm, das wir oben bereits gesehen haben und das die Stärke der Spitze bestimmtWarte einen Moment. Ist das nicht unser Neuronenmodell? Ja, das ist sie. Wenn wir nun jeden kleinen Zweig des Dendriten durch eines unserer kleinen „neuronalen“ Geräte ersetzen, sieht das pyramidenförmige Neuron ungefähr so aus:
Links: viele dendritische Zweige eines Neurons (über und unter dem Körper). Rechts: Es stellt sich heraus, dass dies eine Reihe nichtlinearer Summierungsgeräte (gelbe Kästchen mit nichtlinearen Ausgängen) ist, die an den Körper eines Neurons ausgegeben werden (graues Kästchen) und dort summiert werden. Etwas Vertrautes?Ja, jedes Pyramidenneuron ist ein zweischichtiges neuronales Netzwerk. An sich.
Die hervorragende Arbeit von Poirazi und Mel im Jahr 2003 hat dies deutlich gezeigt. Sie bauten ein komplexes Computermodell eines Neurons auf und simulierten jedes kleine Stück Dendrit, lokale Ausbrüche in ihnen und wie sie zum Körper hinabsteigen. Dann verglichen sie direkt die Ausgabe eines Neurons mit der Ausgabe eines zweischichtigen neuronalen Netzwerks - und es stellte sich heraus, dass es dasselbe war.
Die außerordentliche Bedeutung dieser lokalen Bursts besteht darin, dass jedes Neuron ein Computer ist. Das Neuron selbst kann eine Vielzahl von sogenannten nichtlinearen Funktionen berechnen, die es einfach zusammenfasst und eine Spitze erzeugt. Beispielsweise kann das Pyramidenneuron mit vier Eingaben (Blau, Meer, Gelb und Sonne) und zwei Zweigen, die als kleine nichtlineare Geräte fungieren, die Funktion der „Verknüpfungszeichen“ berechnen: auf eine Kombination aus Blau und Meer oder auf eine Kombination aus Gelb und Sonne reagieren, aber nicht ansonsten zum Beispiel blau und die Sonne oder gelb und das Meer. Natürlich haben Neuronen viel mehr als vier Eingänge und viel mehr als zwei Zweige: Auf diese Weise können sie den astronomischen Bereich logischer Funktionen berechnen.
In jüngerer Zeit hat
Romain Case mit Freunden (ich bin einer meiner Freunde) gezeigt, dass ein einzelnes Neuron einen erstaunlichen Funktionsumfang berechnet, auch wenn es keinen lokalen dendritischen Ausbruch erzeugen kann. Da Dendriten natürlich nicht linear sind: Im Normalzustand fassen sie die Eingabedaten tatsächlich zusammen und erhalten ein Ergebnis, das unter der Summe der einzelnen Werte liegt. In diesem Modus arbeiten sie sublinear, dh 2 + 2 = 3,5. Das Vorhandensein vieler dendritischer Zweige mit sublinearer Summierung ermöglicht es dem Neuron auch, als zweischichtiges neuronales Netzwerk zu fungieren. Ein zweischichtiges neuronales Netzwerk, das einen anderen Satz nichtlinearer Funktionen berechnet, die aus Neuronen mit supralinearen Dendriten aufgebaut sind. Und fast jedes Neuron hat Dendriten. Somit können fast alle Neuronen im Prinzip ein zweischichtiges neuronales Netzwerk sein.
Eine weitere erstaunliche Folge der lokalen Spitze ist, dass Neuronen viel mehr über die Welt wissen, als sie uns sagen - oder andere Neuronen.
Ich habe kürzlich
eine einfache Frage gestellt : Wie verteilt das Gehirn Informationen? Wenn wir uns die Verkabelung zwischen Neuronen im Gehirn ansehen, können wir den Weg von jedem Neuron zu jedem anderen verfolgen. Wie erscheinen dann die Informationen, die offensichtlich in einem Teil des Gehirns verfügbar sind (z. B. der Geruch von Curry), nicht in allen anderen Teilen des Gehirns (z. B. im visuellen Kortex)?
Darauf gibt es zwei entgegengesetzte Antworten. Erstens ist das Gehirn in einigen Fällen nicht geteilt: Informationen erscheinen wirklich an seltsamen Orten, zum Beispiel erreichen Geräusche den Bereich des Gehirns, der für die Orientierung am Boden verantwortlich ist. Und noch eine Antwort: Dendriten teilen sich das Gehirn.
Wie wir gerade gesehen haben, ist ein lokaler Burst ein nichtlineares Ereignis: Er ist größer als die Summe der Eingaben. Und der Körper eines Neurons kann im Grunde nichts erkennen, was kein lokaler Ausbruch ist. Dies bedeutet, dass der größte Teil der Eingabe ignoriert wird: Der Bereich, der den Impuls für den Rest des Gehirns erzeugt, ist von den meisten Informationen, die das Neuron empfängt, isoliert. Ein Neuron reagiert nur, wenn viele Eingaben zeitlich und räumlich gleichzeitig aktiv sind (an derselben Dendritenstelle).
In diesem Fall stellt sich heraus, dass die Dendriten auf das reagieren, worauf das Neuron nicht reagiert. Genau das passiert. Wir haben gesehen, wie im visuellen Kortex viele Neuronen nur auf Objekte reagieren, die sich in einem bestimmten Winkel bewegen. In einigen Neuronen werden Spitzen erzeugt, wenn sich das Objekt in einem Winkel von 60 ° bewegt, in anderen 90 ° oder 120 °. Dendriten
reagieren jedoch ausnahmslos auf alle Winkel . Dendriten wissen viel mehr über die Welt als der Körper eines Neurons.
Sie sehen auch viel mehr. Visuelle kortikale Neuronen reagieren nur an einem bestimmten Ort auf Dinge: Ein Neuron kann auf Objekte oben links und das andere auf Objekte unten rechts reagieren. In jüngerer Zeit haben
Sonia Hofer und Kollegen gezeigt, dass Neuronenausbrüche nur als Reaktion auf Objekte auftreten, die an einer bestimmten Position erscheinen, Dendriten jedoch auf viele verschiedene Positionen reagieren, oft weit entfernt von der Spezialisierung des Neurons. Somit reagieren Neuronen nur auf einen kleinen Teil der empfangenen Informationen, und der Rest der Informationen ist in ihren Dendriten verborgen.
Warum ist das alles so wichtig? Dies bedeutet, dass jedes Neuron seine Funktion radikal ändern kann und nur wenige Eingaben ändert. Einige Eingaben werden schwächer - und plötzlich schweigt ein ganzer Zweig des Dendriten. Ein Neuron, das sich früher freute, Katzen zu sehen, weil dieser Zweig Katzen liebte, reagiert nicht mehr, wenn Ihre Katze auf die Tastatur eines funktionierenden Computers sprang - und infolgedessen wurden Sie eine viel ruhigere, gesammelte Person. Mehrere Eingaben werden verstärkt - und plötzlich beginnt der gesamte Zweig zu reagieren: Ein Neuron, das zuvor nicht auf den Geschmack von Oliven reagiert hat, erzeugt jetzt freudig Bursts, wenn es einen vollen Mund reifer grüner Oliven einfängt - nach meiner Erfahrung wird dieses Neuron beim Menschen erst nach 20 Jahren aktiviert. Wenn die Eingaben einfach summiert würden, würden die neuen Eingaben die alten um die Funktion des Neurons kämpfen; Aber jeder Abschnitt des Dendriten wirkt unabhängig und führt leicht neue Berechnungen durch.
Dies bedeutet, dass das Gehirn viele Berechnungen durchführen kann. Es ist unmöglich, ein Neuron einfach als Addierer von Eingabedaten und Burst-Generator zu betrachten. Aber genau so sind Einheiten in künstlichen neuronalen Netzen angeordnet. Dies deutet darauf hin, dass Deep Learning und andere KI-Systeme nicht einmal der Rechenleistung des realen Gehirns nahe gekommen sind.
Es gibt 17 Milliarden Neuronen in der Großhirnrinde. Um zu verstehen, was sie tun, ziehen wir oft Analogien mit einem Computer. Einige Argumente basieren vollständig auf dieser Analogie. Andere halten es für eine Täuschung. Künstliche neuronale Netze werden oft als Beispiel angeführt: Sie führen Berechnungen durch und bestehen aus neuronähnlichen Dingen, weshalb das Gehirn rechnen muss. Wenn wir jedoch glauben, dass das Gehirn ein Computer ist, weil es wie ein neuronales Netzwerk ist, müssen wir jetzt zugeben, dass einzelne Neuronen auch Computer sind. Alle 17 Milliarden in der Kruste. Vielleicht alle 86 Milliarden im Gehirn.
Dies bedeutet, dass die Großhirnrinde kein neuronales Netzwerk ist. Dies ist ein neuronales Netzwerk von neuronalen Netzwerken.