Wie massive Parallelisierung die Effizienz des Gehirns gegenüber KI-Fähigkeiten erhöht
Das Gehirn ist ein komplexes Gerät; Beim Menschen enthält es ungefähr 100 Milliarden Neuronen und ungefähr 100 Billionen Verbindungen zwischen ihnen. Es wird oft mit einem anderen komplexen System mit enormen Aufgabenlösungsmöglichkeiten verglichen: einem digitalen Computer. Das Gehirn und der Computer enthalten eine große Anzahl von Elementareinheiten - Neuronen bzw. Transistoren -, die mit komplexen Schaltkreisen verbunden sind, die Informationen verarbeiten, die durch elektrische Signale übertragen werden. Auf globaler Ebene sind die Architekturen von Gehirn und Computer etwas ähnlich, da sie aus fast getrennten Schleifen für Eingabe, Ausgabe, Zentralverarbeitung und Speicher bestehen.
Wer kann Probleme besser lösen - das Gehirn oder der Computer? Angesichts der rasanten Entwicklung der Computertechnologie in den letzten Jahrzehnten können Sie entscheiden, was den Computer gewinnt. In der Tat sind Computer so konzipiert und programmiert, dass sie menschliche Meister in komplexen Spielen wie Schach in den 1990er Jahren und in jüngerer Zeit sowie in Wettbewerben um enzyklopädisches Wissen wie der
Jeopardy! Game- Show besiegen, aber vorerst dass Menschen Computer in einer Vielzahl von Aufgaben besiegen, die mit der realen Welt zusammenhängen - von der Fähigkeit, zwischen einem Radfahrer oder einem Fußgänger auf der Straße zu unterscheiden, eine Tasse Tee von einem Tisch zu nehmen und sie vorsichtig in den Mund zu nehmen - ganz zu schweigen von Konzeptualisierung und Kreativität.
Warum kann ein Computer bestimmte Aufgaben gut erledigen und das Gehirn andere? Vergleiche des Computers mit dem Gehirn halfen Ingenieuren und Neurowissenschaftlern, dieses Problem zu verstehen. Der folgende Vergleich wurde zu Beginn der modernen Computerzeit in dem kleinen, aber einflussreichen Buch The Computer and the Brain von
John von Neumann , einem Spezialisten auf vielen Gebieten der Wissenschaft, durchgeführt, der noch in den 1940er Jahren als erster ein Computerarchitekturschema entwickelte dann als Basis für moderne Computer dienen. Schauen wir uns die Zahlen in diesen Vergleichen an.
| Die Eigenschaften | Computer | Gehirn |
|---|
| Die Anzahl der Elementarelemente | Bis zu 10 Milliarden Transistoren | 100 Milliarden Neuronen und 100 Billionen Synapsen |
| Grundlegende Betriebsgeschwindigkeit | 10 Milliarden / Sek | <1000 / s |
| Genauigkeit | 1 zu 4,2 Milliarden (für einen 32-Bit-Prozessor) | 1 bis 100 |
| Stromverbrauch | 100 Watt | 10 Watt |
| Informationsverarbeitungsmethode | Meistens seriell | Seriell und massiv parallel |
| Die Anzahl der Ein- und Ausgänge jedes Elements | 1-3 | ≈ 1000 |
| Funktionsweise | Digital | Digital und analog |
Daten von Computern aus dem Jahr 2008. Die Anzahl der Transistoren pro integrierter Schaltung verdoppelte sich alle 18 bis 24 Monate, aber im Laufe der Zeit nahm die Geschwindigkeitssteigerung aufgrund von Problemen mit dem Stromverbrauch und der Wärmeableitung ab.
Der Computer hat gegenüber dem Gehirn enorme Vorteile bei der Geschwindigkeit der Grundoperationen
1 . Heutzutage sind PCs in der Lage, grundlegende Rechenoperationen wie Addition mit einer Geschwindigkeit von 10 Milliarden Operationen pro Sekunde auszuführen. Wir können die Geschwindigkeit elementarer Gehirnoperationen anhand der elementaren Prozesse bewerten, durch die Neuronen Informationen übertragen und miteinander kommunizieren. Zum Beispiel aktivieren Neuronen
Aktionspotentiale - Ausbrüche elektrischer Signale, die in der Nähe einer Neuronenzelle ausgelöst und entlang ihrer langen Äste, Axone, übertragen werden und diese mit den folgenden Neuronen verbinden. Informationen werden mit der Häufigkeit und dem Zeitpunkt des Starts dieser Bursts codiert. Die maximale Frequenz der Neuronenaktivierung liegt in der Größenordnung von 1000 Bursts pro Sekunde. In einem anderen Beispiel übertragen Neuronen Informationen an verwandte Partnerneuronen und emittieren chemische Neurotransmitter in speziellen Strukturen an den Enden von Axonen, Synapsen und Partnerneuronen, die den Neurotransmitter wieder in elektrische Signale umwandeln. Dieser Prozess wird als
synaptische Übertragung bezeichnet . Die schnellste synaptische Übertragung erfolgt in 1 ms. Daher kann das Gehirn durch Bursts und synaptische Übertragungen maximal tausend grundlegende Operationen pro Sekunde ausführen, was 10 Millionen Mal langsamer ist als ein Computer. Es wird angenommen, dass arithmetische Operationen Eingabe in Ausgabe umwandeln sollten, sodass die Arbeitsgeschwindigkeit durch die grundlegenden Operationen der Neuronenkommunikation wie Aktionspotentiale und synaptische Übertragung begrenzt wird. Es gibt jedoch Ausnahmen von diesen Einschränkungen. Beispielsweise können Neuronen mit elektrischen Synapsen (Verbindungen zwischen Neuronen, die keine chemischen Neurotransmitter verwenden), die keine Spannungsspitzen erzeugen, im Prinzip Informationen schneller als in einer Millisekunde übertragen. Auch Ereignisse, die lokal in Dendriten auftreten können, sind dazu in der Lage.
Der Computer hat auch ernsthafte Vorteile gegenüber dem Gehirn in Bezug auf die Genauigkeit grundlegender Operationen. Ein Computer ist in der Lage, Zahlen mit jeder gewünschten Genauigkeit unter Verwendung von Bits, Nullen und Einheiten darzustellen, die jeder Zahl zugewiesen sind. Beispielsweise hat eine 32-Bit-Zahl eine Genauigkeit von 1 bis 2
32 oder 4,2 Milliarden. Empirische Daten legen nahe, dass die meisten Zahlen im Nervensystem (z. B. die Häufigkeit der Aktivierung von Neuronen, die häufig als Schätzung der Reizintensität verwendet wird) schwanken um einige Prozent aufgrund von biologischem Rauschen, dh die Genauigkeit beträgt bestenfalls 1 bis 100, was millionenfach schlechter ist als bei einem Computer. Lärm kann übrigens als Indikator dafür dienen, dass viele Nervenprozesse im Wesentlichen probabilistisch sind. Dieselben Reize können unterschiedliche Sequenzen von Ausbrüchen elektrischer Aktivität von Neuronen verursachen.
Die vom Gehirn durchgeführten Berechnungen können jedoch nicht als langsam oder ungenau bezeichnet werden. Zum Beispiel kann ein professioneller Tennisspieler die Flugbahn eines Balls verfolgen, der mit einer Geschwindigkeit von bis zu 260 km / h fliegt, sich an die optimale Stelle auf dem Platz bewegen, seine Hand in die richtige Position bringen und einen Schläger schwenken, wobei er den Ball zur Hälfte des Gegners zurückbringt - und das alles in wenigen hundert Millisekunden. Darüber hinaus ist das Gehirn in der Lage, all diese Aufgaben zu erledigen (unter Verwendung des Körpers, den es steuert) und verbraucht zehnmal weniger Energie als ein Personal Computer. Wie gelingt das Gehirn? Ein wichtiger Unterschied zwischen Computer und Gehirn ist der Modus, in dem jedes dieser Systeme Informationen verarbeitet. Der Computer führt Aufgaben größtenteils in aufeinanderfolgenden Schritten aus. Dies lässt sich daran erkennen, wie Programmierer Code schreiben und einen Strom aufeinanderfolgender Anweisungen erstellen. Für jeden Schritt dieser Sequenz ist eine hohe Genauigkeit erforderlich, da sich bei jedem Schritt Fehler ansammeln und verstärken. Das Gehirn verwendet auch sequentielle Schritte bei der Verarbeitung von Informationen. Im Tennisbeispiel fließen Informationen von den Augen zum Gehirn und dann zum Rückenmark, um die Kontraktionen der Muskeln der Beine, des Rumpfes, des Arms und des Handgelenks zu steuern.
Das Gehirn verwendet aber auch eine massive parallele Datenverarbeitung, wobei die große Anzahl von Neuronen und die Verbindungen zwischen ihnen ausgenutzt werden. Zum Beispiel aktiviert ein sich bewegender Tennisball viele Netzhautzellen, Fotorezeptoren, die Licht in elektrische Signale umwandeln. Diese Signale werden an viele verschiedene Arten von Netzhautneuronen übertragen. Bis die Photorezeptorsignale zwei oder drei synaptische Verbindungen in der Netzhaut durchlaufen, wurden Informationen über Position, Richtung und Geschwindigkeit des Balls bereits von parallelen neuronalen Schaltkreisen extrahiert und an das Gehirn übertragen. Auf die gleiche Weise sendet der motorische Kortex (der Teil der Großhirnrinde, der für die bewusste Motilität verantwortlich ist) Befehle parallel, um die Kontraktion der Muskeln von Beinen, Rumpf, Armen und Handgelenken zu steuern, so dass Körper und Hände gleichzeitig die Position einnehmen, die für die Aufnahme des Balls optimal ist.
Diese massiv parallele Strategie funktioniert, weil jedes Neuron Input sammelt und den Output an viele andere Neuronen sendet - im Durchschnitt für Säugetiere 1000 eingehende und ausgehende Links pro Neuron. Und jeder Transistor hat insgesamt nur drei Knoten für Ein- und Ausgang. Informationen von einem Neuron können auf viele parallele Wege gehen. Gleichzeitig können viele informationsverarbeitende Neuronen ihre Ausgabedaten verbinden, indem sie sie an ein nachfolgendes Neuron senden. Diese Eigenschaft ist besonders nützlich, um die Genauigkeit der Informationsverarbeitung zu erhöhen. Beispielsweise können die von einem einzelnen Neuron bereitgestellten Informationen Rauschen enthalten (dh seine Genauigkeit liegt in der Größenordnung von 1 bis 100). Wenn das nächste Neuron die Eingabe von 100 Neuronen wahrnimmt, die dieselbe Information verarbeiten, kann es bereits Informationen mit höherer Genauigkeit liefern (in diesem Fall 1 bis 1000). Angenommen, die Standardabweichung σ des
Mediums für jede Einheit von Eingabedaten entspricht ungefähr dem Rauschen. Für die durchschnittliche Anzahl unabhängiger Eingaben n ist die erwartete Abweichung des Mittelwerts σ
media = σ / √ n. In unserem Beispiel ist σ = 0,01 und n = 100, also σ
media = 0,001.
Der Computer und das Gehirn haben Ähnlichkeiten und Unterschiede auch in der Darstellung ihrer Elementareinheiten. Der Transistor verwendet eine digitale Darstellung von Informationen mit diskreten Werten (0 oder 1). Axon-Burst ist auch ein digitales Signal, da ein Neuron zu jedem Zeitpunkt entweder aktiviert oder nicht aktiviert ist und wenn es aktiviert ist, haben fast alle Bursts ungefähr die gleiche Größe und Form. Diese Eigenschaft ermöglicht eine zuverlässige Übertragung von Bursts über große Entfernungen. Neuronen nutzen jedoch auch die Fähigkeiten von analogen Signalen, die Informationen unter Verwendung kontinuierlicher Werte darstellen. Einige Neuronen (die meisten Netzhautneuronen) erzeugen keine Bursts, und ihre Ausgabe wird durch schrittweise elektrische Signale übertragen (die im Gegensatz zu Bursts in ihrer Größe variieren können), die mehr Informationen als Bursts übertragen können. Das empfangende Ende des Neurons (normalerweise in Dendriten angeordnet) verwendet auch analoge Signale, um bis zu tausend Eingangssignale gleichzeitig zu integrieren, wodurch Dendriten komplexe Berechnungen durchführen können.
Ein weiteres bemerkenswertes Merkmal des Gehirns, das am Beispiel eines Tennisspiels eindeutig verwendet wird, ist, dass die Stärke der Verbindungen zwischen Neuronen aufgrund von Handlungen und Erfahrungen verändert werden kann - dieser Prozess ist nach Ansicht der Neurowissenschaftler die Grundlage für Lernen und Auswendiglernen. Durch wiederholtes Training können sich die neuronalen Schaltkreise besser auf die Aufgabe einstellen, was die Geschwindigkeit und Genauigkeit erheblich erhöht.
In den letzten Jahrzehnten haben sich Ingenieure vom Gehirn inspirieren lassen, Computer zu verbessern. Die Prinzipien der parallelen Verarbeitung und Modifikation von Bindungsgewichten, abhängig von der Verwendung, sind in modernen Computern enthalten. Beispielsweise ist bei der Entwicklung von Computern der aktuelle Trend die Zunahme der Parallelität, beispielsweise die Verwendung mehrerer Prozessoren (Kerne) in einem Computer. Ein weiteres Beispiel ist Deep Learning. Die Wissenschaft des maschinellen Lernens und der künstlichen Intelligenz, die in den letzten Jahren enorme Erfolge erzielt hat und für die raschen Fortschritte bei der Erkennung von Objekten und Sprache in Computern und Mobilgeräten verantwortlich ist, wurde von Entdeckungen im Zusammenhang mit dem visuellen System von Säugetieren inspiriert.
2Deep Learning, das das visuelle System von Säugetieren imitiert, verwendet mehrere Schichten, von denen jede die zunehmend abstrakten Eigenschaften des Objekts (visuell oder sprachlich) darstellt, und die Gewichte der Bindungen zwischen verschiedenen Schichten werden durch Training und nicht aufgrund technischer Anstrengungen angepasst. Diese jüngsten Fortschritte haben die Liste der Computeraufgaben erweitert. Und dennoch bleibt das Gehirn computerüberlegene Flexibilität, Generalisierbarkeit und Lernfähigkeit. Da Neurowissenschaftler immer mehr Geheimnisse des Gehirns entdecken (unterstützt durch den zunehmenden Einsatz von Computern), können Ingenieure mehr Beispiele zur Inspiration aus dem Gehirn heranziehen, um die Architektur und Leistung von Computern weiter zu verbessern. Wer sich als Sieger einer bestimmten Aufgabe herausstellt, wird durch diese gegenseitige interdisziplinäre Befruchtung zweifellos sowohl die Neurobiologie als auch die Computertechnologie voranbringen.
1. Patterson, DA & Hennessy, JL Computer Organisation und Design (Elsevier, Amsterdam, 2012), 4. Aufl.
2. LeCun, Y. Bengio, Y. & Hinton, G. Deep Learning. Nature 521, 436–444 (2015).
Likan Luo ist Professor an der School of Humanities and Sciences und Professor für Neurowissenschaften an der Stanford University.