Wir alle erinnern uns an Schulquälübungen in Arithmetik. Es dauert mindestens eine Minute, um Zahlen wie 3.752 und 6.901 mit Bleistift und Papier zu multiplizieren. Wenn wir heute Telefone zur Hand haben, können wir natürlich schnell überprüfen, ob das Ergebnis unserer Übung 25.892.552 sein sollte. Die Prozessoren moderner Telefone können mehr als 100 Milliarden solcher Operationen pro Sekunde ausführen. Darüber hinaus verbrauchen diese Chips nur wenige Watt, was sie viel effizienter macht als unser langsames Gehirn, 20 Watt verbraucht und viel mehr Zeit benötigt, um das gleiche Ergebnis zu erzielen.
Natürlich hat sich das Gehirn nicht entwickelt, um rechnen zu können. Deshalb macht er es schlecht. Aber er kommt mit der Verarbeitung eines ständigen Informationsstroms aus unserer Umwelt zurecht. Und er reagiert darauf - manchmal schneller, als wir es realisieren können. Es spielt keine Rolle, wie viel Energie ein normaler Computer verbraucht - es wird schwierig sein, mit dem fertig zu werden, was dem Gehirn leicht gegeben wird - zum Beispiel die Sprache zu verstehen oder die Treppe hinaufzulaufen.
Wenn sie Maschinen schaffen könnten, deren Rechenleistung und Energieeffizienz mit dem Gehirn vergleichbar wären, würde sich alles dramatisch ändern. Roboter würden sich geschickt in der physischen Welt bewegen und in einer natürlichen Sprache mit uns kommunizieren. Große Systeme würden riesige Mengen an Informationen über Wirtschaft, Wissenschaft, Medizin oder Regierung sammeln, neue Muster entdecken, kausale Zusammenhänge finden und Vorhersagen treffen. Intelligente mobile Apps wie Siri und Cortana könnten sich weniger auf Clouds verlassen. Eine solche Technologie könnte es uns ermöglichen, Geräte mit geringem Energieverbrauch zu entwickeln, die unsere Sinne ergänzen, uns mit Medikamenten versorgen und Nervensignale emulieren, um Organschäden oder Lähmungen auszugleichen.
Aber ist es nicht zu früh, um solch mutige Ziele zu setzen? Ist unser Verständnis des Gehirns zu begrenzt, um Technologien basierend auf seinen Prinzipien zu entwickeln? Ich glaube, dass das Emulieren selbst der einfachsten Merkmale der Nervenschaltungen die Leistung vieler kommerzieller Anwendungen dramatisch verbessern kann. Wie genau Computer die biologischen Details der Struktur des Gehirns kopieren müssen, um seiner Geschwindigkeit näher zu kommen, ist eine offene Frage. Aber heutige Systeme, die von der Struktur des Gehirns inspiriert oder neuromorph sind, werden zu wichtigen Werkzeugen, um eine Antwort darauf zu finden.
Ein Schlüsselmerkmal herkömmlicher Computer ist die physische Trennung des Speichers, in dem Daten und Anweisungen gespeichert sind, und die Logik, die diese Informationen verarbeitet. Es gibt keine solche Trennung im Gehirn. Berechnungen und Datenspeicherung erfolgen gleichzeitig und lokal in einem ausgedehnten Netzwerk, das aus ungefähr 100 Milliarden Nervenzellen (Neuronen) und mehr als 100 Billionen Verbindungen (Synapsen) besteht. Zum größten Teil wird das Gehirn durch diese Verbindungen bestimmt und wie jedes der Neuronen auf das eingehende Signal der anderen Neuronen reagiert.
Wenn wir über die außergewöhnlichen Möglichkeiten des menschlichen Gehirns sprechen, meinen wir normalerweise den jüngsten Erwerb eines langen Evolutionsprozesses - des
Neokortex (neuer Kortex). Diese dünne und extrem gefaltete Schicht bildet die äußere Hülle des Gehirns und führt sehr unterschiedliche Aufgaben aus, einschließlich der Verarbeitung von Informationen, die von den Sinnen empfangen werden, der Steuerung der motorischen Fähigkeiten, der Arbeit mit dem Gedächtnis und des Lernens. In einer ziemlich homogenen Struktur stehen so viele Möglichkeiten zur Verfügung: sechs horizontale Schichten und eine Million vertikale Säulen mit einer Breite von 500 μm, bestehend aus Neuronen, die Informationen integrieren und verteilen, die in elektrischen Impulsen entlang der daraus wachsenden Antennen codiert sind - Dendriten und Axone.
Wie alle Zellen des menschlichen Körpers hat das Neuron ein elektrisches Potential in der Größenordnung von 70 mV zwischen der Außenfläche und den Innenseiten. Diese Membranspannung ändert sich, wenn ein Neuron ein Signal von anderen damit verbundenen Neuronen empfängt. Wenn die Membranspannung auf einen kritischen Wert ansteigt, bildet sie einen Impuls oder einen Spannungsanstieg von mehreren Millisekunden in der Größenordnung von 40 mV. Dieser Impuls breitet sich entlang des Axons eines Neurons aus, bis er die Synapse erreicht, eine komplexe biochemische Struktur, die das Axon eines Neurons mit dem Dendriten eines anderen verbindet. Wenn der Impuls bestimmte Einschränkungen erfüllt, wandelt die Synapse ihn in einen anderen Impuls um, der die Verzweigungsdendriten des Neurons, das das Signal empfängt, hinuntergeht und seine Membranspannung in positiver oder negativer Richtung ändert.
Konnektivität ist ein kritisches Merkmal des Gehirns.
Das Pyramidenneuron , ein besonders wichtiger Typ menschlicher Neocortexzellen, enthält etwa 30.000 Synapsen, dh 30.000 Eingangskanäle von anderen Neuronen. Und das Gehirn passt sich ständig an. Das Neuron und die Eigenschaften der Synapse - und sogar die Struktur des Netzwerks selbst - ändern sich ständig, hauptsächlich unter dem Einfluss von Eingabedaten der Sinne und Umgebungsrückkopplungen.
Moderne Universalcomputer sind digital und nicht analog. Die Klassifizierung des Gehirns ist nicht so einfach. Neuronen akkumulieren eine elektrische Ladung wie Kondensatoren in elektronischen Schaltkreisen. Dies ist eindeutig ein analoger Prozess. Aber das Gehirn verwendet Bursts als Informationseinheiten, und dies ist im Grunde ein binäres Schema: Immer und überall gibt es einen Burst oder nicht. In Bezug auf die Elektronik ist das Gehirn ein System mit gemischten Signalen, mit lokalem analogem Rechnen und der Übertragung von Informationen unter Verwendung von binären Bursts. Da der Burst nur 0 oder 1 Werte hat, kann er eine lange Strecke zurücklegen, ohne diese grundlegenden Informationen zu verlieren. Es reproduziert sich auch und erreicht das nächste Neuron im Netzwerk.
Ein weiterer wesentlicher Unterschied zwischen dem Gehirn und dem Computer besteht darin, dass das Gehirn mit der Verarbeitung von Informationen fertig wird, ohne dass eine zentrale Uhr ihren Betrieb synchronisiert. Obwohl wir synchronisierende Ereignisse - Gehirnwellen - beobachten, organisieren sie sich selbst, die sich aus der Arbeit neuronaler Netze ergeben. Interessanterweise beginnen moderne Computersysteme, die dem Gehirn innewohnende Asynchronität zu übernehmen, um Berechnungen zu beschleunigen, indem sie parallel ausgeführt werden. Grad und Zweck der Parallelisierung dieser beiden Systeme sind jedoch äußerst unterschiedlich.
Die Idee, das Gehirn als Modell für die Datenverarbeitung zu verwenden, hat tiefe Wurzeln. Die ersten Versuche basierten auf einem
einfachen Schwellenwertneuron , das einen Wert liefert, wenn die Summe der gewichteten Eingabedaten den Schwellenwert überschreitet, und den anderen, wenn dies nicht der Fall ist. Der biologische Realismus dieses Ansatzes, den Warren McCullough und
Walter Pitts in den 1940er Jahren entwickelt haben, ist sehr begrenzt. Dies war jedoch der erste Schritt zur Anwendung des Konzepts eines auslösenden Neurons als Berechnungselement.
1957 schlug
Frank Rosenblatt eine andere Version eines Schwellenneurons vor, das
Perzeptron . Ein Netzwerk miteinander verbundener Knoten (künstliche Neuronen) besteht aus Schichten. Sichtbare Schichten auf der Oberfläche des Netzwerks interagieren als Ein- und Ausgänge mit der Außenwelt, und die verborgenen Schichten im Inneren führen alle Berechnungen durch.
Rosenblatt schlug auch vor, ein Kernmerkmal des Gehirns zu verwenden: Eindämmung. Anstatt alle Eingaben zu stapeln, können Neuronen im Perzeptron einen negativen Beitrag leisten. Diese Funktion ermöglicht es neuronalen Netzen, eine einzelne verborgene Schicht zu verwenden, um XOR-Probleme in der Logik zu lösen, bei denen die Ausgabe wahr ist, wenn nur eine der beiden Binäreingänge wahr ist. Dieses einfache Beispiel zeigt, dass das Hinzufügen von biologischem Realismus neue Rechenfähigkeiten hinzufügen kann. Aber welche Funktionen des Gehirns sind für seine Arbeit notwendig und welche sind nutzlose Spuren der Evolution? Niemand weiß es.
Wir wissen, dass beeindruckende Rechenergebnisse erzielt werden können, ohne zu versuchen, biologischen Realismus zu erzeugen. Deep-Learning-Forscher haben einen langen Weg zurückgelegt, um mithilfe von Computern große Datenmengen zu analysieren und bestimmte Attribute aus komplexen Bildern zu extrahieren. Obwohl die von ihnen erstellten neuronalen Netze mehr Eingaben und verborgene Schichten aufweisen als jemals zuvor, basieren sie immer noch auf extrem einfachen Neuronenmodellen. Ihre vielfältigen Möglichkeiten spiegeln nicht den biologischen Realismus wider, sondern die Größe der in ihnen enthaltenen Netzwerke und die Leistung der Computer, die für ihr Training verwendet werden. Deep-Learning-Netzwerke sind jedoch noch weit von Rechengeschwindigkeit, Energieeffizienz und biologischen Lernfähigkeiten des Gehirns entfernt.
Die große Kluft zwischen dem Gehirn und modernen Computern wird am besten durch groß angelegte Gehirnsimulationen hervorgehoben. In den letzten Jahren wurden mehrere solcher Versuche unternommen, die jedoch alle durch zwei Faktoren stark eingeschränkt wurden: Energie und Simulationszeit. Stellen Sie sich zum Beispiel eine
Simulation vor, die Markus Daisman und seine Kollegen vor einigen Jahren mit 83.000 Prozessoren auf einem K-Supercomputer in Japan durchgeführt haben. Die Simulation von 1,73 Milliarden Neuronen verbrauchte 10 Milliarden Mal mehr Energie als die entsprechende Fläche des Gehirns, obwohl sie extrem vereinfachte Modelle verwendeten und kein Training durchführten. Und solche Simulationen arbeiteten normalerweise mehr als 1000 Mal langsamer als das biologische Echtzeithirn.
Warum sind sie so langsam? Gehirnsimulationen auf herkömmlichen Computern erfordern die Berechnung von Milliarden von Differentialgleichungen, die miteinander verbunden sind und die Dynamik von Zellen und Netzwerken beschreiben: analoge Prozesse wie das Bewegen einer Ladung über eine Zellmembran. Computer, die boolesche Logik verwenden - Energie für Genauigkeit ändern - und Speicher und Berechnung gemeinsam nutzen, sind bei der Modellierung des Gehirns äußerst ineffizient.
Diese Simulationen können zu einem Werkzeug für die Erkennung des Gehirns werden, indem die im Labor erhaltenen Daten in Simulationen übertragen werden, mit denen wir experimentieren und die Ergebnisse dann mit Beobachtungen vergleichen können. Wenn wir jedoch hoffen, in eine andere Richtung zu gehen und die Lehren der Neurobiologie zu nutzen, um neue Computersysteme zu entwickeln, müssen wir überdenken, wie wir Computer entwerfen und erstellen.
Neuronen in Silizium.Das Kopieren der Arbeit des Gehirns mithilfe von Elektronik kann praktikabler sein, als es auf den ersten Blick scheint. Es stellt sich heraus, dass etwa 10 fJ (
10-15 Joule) für die Erzeugung eines elektrischen Potentials an der Synapse aufgewendet werden. Das Gate eines Metalloxid-Halbleiter (MOS) -Transistors, das viel größer ist und mehr Energie verbraucht als die in der CPU verwendeten, benötigt zum Laden nur 0,5 fJ. Es stellt sich heraus, dass die synaptische Übertragung dem Laden von 20 Transistoren entspricht. Darüber hinaus unterscheiden sich biologische und elektronische Schaltkreise auf Geräteebene nicht so stark. Im Prinzip können Sie aus Transistoren Strukturen wie Synapsen und Neuronen erstellen und diese so verbinden, dass ein künstliches Gehirn entsteht, das nicht so viel Energie absorbiert.
Die Idee, Computer mit Transistoren zu erstellen, die wie Neuronen funktionieren, entstand in den 1980er Jahren mit Professor Carver Mead von Caltech. Eines der Hauptargumente von Mead für „neuromorphe“ Computer war, dass Halbleiterbauelemente in einem bestimmten Modus denselben physikalischen Gesetzen wie Neuronen folgen können und dass analoges Verhalten für Berechnungen mit hoher Energieeffizienz verwendet werden kann.
Meads Gruppe hat auch eine neuronale Kommunikationsplattform erfunden, bei der Bursts nur durch ihre Netzwerkadressen und den Zeitpunkt des Auftretens codiert werden. Diese Arbeit war bahnbrechend, da sie als erste die Zeit zu einem notwendigen Merkmal künstlicher neuronaler Netze machte. Zeit ist ein Schlüsselfaktor für das Gehirn. Signale brauchen Ausbreitungszeit, Membranen brauchen Reaktionszeit und es ist die Zeit, die die Form der postsynaptischen Potentiale bestimmt.
Mehrere aktive Forschungsgruppen, zum Beispiel die
Giacomo Indiveri- Gruppe der Swiss Higher Technical School und
Kwabena Bohen aus Stanford, sind in die Fußstapfen von Mead getreten und haben erfolgreich Elemente biologischer kortikaler Netzwerke eingeführt. Der Trick besteht darin, mit Transistoren mit einem Niederspannungsstrom zu arbeiten, der ihren Schwellenwert nicht erreicht, und analoge Schaltkreise zu erstellen, die das Verhalten des Nervensystems kopieren und dabei ein wenig Energie verbrauchen.
Weitere Forschungen in dieser Richtung könnten in Systemen wie der Gehirn-Computer-Schnittstelle Anwendung finden. Es gibt jedoch eine große Lücke zwischen diesen Systemen und der tatsächlichen Größe des Netzwerks, der Konnektivität und der Lernfähigkeit des tierischen Gehirns.
In der Region 2005 begannen drei Forschergruppen unabhängig voneinander, neuromorphe Systeme zu entwickeln, die sich erheblich von Meads ursprünglichem Ansatz unterschieden. Sie wollten große Systeme mit Millionen von Neuronen schaffen.
Am nächsten an normalen Computern ist das
SpiNNaker- Projekt unter der Leitung von Steve Ferber von der University of Manchester. Diese Gruppe entwickelte einen eigenen digitalen Chip, der aus 18 ARM-Prozessoren besteht, die mit 200 MHz arbeiten - etwa ein Zehntel der Geschwindigkeit moderner CPUs. Obwohl die ARM-Kerne aus der Welt der klassischen Computer stammen, simulieren sie Bursts, die über spezielle Router gesendet werden, um Informationen asynchron zu übertragen - genau wie das Gehirn. Die aktuelle Implementierung, die Teil des Human Brain Project der Europäischen Union ist und 2016 abgeschlossen wurde, enthält 500.000 ARM-Kerne. Abhängig von der Komplexität des Neuronenmodells kann jeder Kern bis zu 1000 Neuronen simulieren.
Der von
Darmendra Maud und seinen Kollegen am IBM Research Laboratory in Almaden entwickelte TrueNorth-Chip lehnt die Verwendung von Mikroprozessoren als Recheneinheiten ab und ist tatsächlich ein neuromorphes System, in dem Computer und Speicher miteinander verflochten sind. TrueNorth bleibt weiterhin ein digitales System, basiert jedoch auf speziell entwickelten Neurokonturen, die ein bestimmtes Neuronenmodell implementieren. Der Chip enthält 5,4 Milliarden Transistoren und basiert auf der 28-nm-Samsung-
CMOS- Technologie (komplementäre Metalloxid-Halbleiter-Struktur). Transistoren emulieren 1 Million neuronale Schaltungen und 256 Millionen einfache (Einzelbit-) Synapsen auf einem einzelnen Chip.
Ich würde sagen, dass das nächste Projekt,
BrainScaleS , ziemlich weit von herkömmlichen Computern entfernt war und dem biologischen Gehirn nahe kam. Wir haben mit meinen Kollegen von der Universität Heidelberg an diesem Projekt für die europäische Initiative „The Human Brain“ gearbeitet. BrainScaleS implementiert die gemischte Signalverarbeitung. Es kombiniert Neuronen und Synapsen, in deren Rolle Siliziumtransistoren als analoge Geräte mit digitalem Informationsaustausch fungieren. Das System in voller Größe besteht aus 8-Zoll-Siliziumsubstraten und ermöglicht die Emulation von 4 Millionen Neuronen und 1 Milliarde Synapsen.
Das System kann neun verschiedene Reaktionsmodi biologischer Neuronen reproduzieren und wurde in enger Zusammenarbeit mit Neurowissenschaftlern entwickelt. Im Gegensatz zu Meads analogem Ansatz arbeitet BrainScaleS im beschleunigten Modus. Die Emulation ist 10.000-mal schneller als in Echtzeit. Dies ist besonders praktisch, um den Lernprozess und die Entwicklung zu studieren.
Lernen wird wahrscheinlich zu einer kritischen Komponente neuromorpher Systeme. Jetzt werden Chips, die im Bild des Gehirns hergestellt wurden, sowie neuronale Netze, die auf normalen Computern ausgeführt werden, mit Hilfe leistungsfähigerer Computer nebenbei trainiert. Wenn wir jedoch neuromorphe Systeme in realen Anwendungen einsetzen möchten - zum Beispiel in Robotern, die Seite an Seite mit uns arbeiten müssen, müssen sie in der Lage sein, im laufenden Betrieb zu lernen und sich anzupassen.
In der zweiten Generation unseres BrainScaleS-Systems haben wir die Schulungsmöglichkeit implementiert, indem wir „Flexibilitätsprozessoren“ auf dem Chip erstellt haben. Sie werden verwendet, um eine Vielzahl von Parametern von Neuronen und Synapsen zu ändern. Mit dieser Funktion können wir die Parameter fein einstellen, um Unterschiede in Größe und elektrischen Eigenschaften beim Wechsel von einem Gerät zum anderen auszugleichen - ungefähr so, wie sich das Gehirn selbst an Änderungen anpasst.
Die drei von mir beschriebenen Großsysteme ergänzen sich. SpiNNaker kann flexibel konfiguriert und zum Testen verschiedener Neuromodelle verwendet werden. TrueNorth hat eine hohe Integrationsdichte. BrainScaleS wurde für kontinuierliches Training und Entwicklung entwickelt. Die Suche nach dem richtigen Weg zur Bewertung der Wirksamkeit solcher Systeme ist noch nicht abgeschlossen. Die ersten Ergebnisse sind jedoch vielversprechend. Das TrueNorth-Team von IBM hat kürzlich berechnet, dass die synaptische Übertragung in ihrem System 26 pJ dauert. Und obwohl in einem biologischen System 1000-mal mehr Energie benötigt wird, wird in Simulationen auf Allzweckcomputern fast 100 000-mal weniger Energie für die Übertragung benötigt.
Wir sind noch in einem frühen Stadium, um zu verstehen, was solche Systeme können und wie sie zur Lösung realer Probleme eingesetzt werden können. Gleichzeitig müssen wir Wege finden, um viele neuromorphe Chips in großen Netzwerken mit verbesserten Lernfähigkeiten zu kombinieren und gleichzeitig den Stromverbrauch zu senken. Eines der Probleme ist die Konnektivität: Das Gehirn ist dreidimensional und unsere Schaltkreise sind zweidimensional. Das Problem der dreidimensionalen Integration von Schaltkreisen wird derzeit aktiv untersucht, und solche Technologien können uns helfen.
Geräte, die nicht auf CMOS-
Memristoren oder PCRAM (
Speicher mit Phasenzustandsänderung ) basieren, können eine weitere Hilfe sein.
Heutzutage werden die Gewichte, die die Reaktion künstlicher Synapsen auf eingehende Signale bestimmen, in einem normalen digitalen Speicher gespeichert, der den größten Teil der zum Aufbau eines Netzwerks erforderlichen Siliziumressourcen beansprucht. Andere Arten von Speicher können uns jedoch dabei helfen, die Größe dieser Zellen von Mikrometer auf Nanometer zu reduzieren. Die Hauptschwierigkeit moderner Systeme besteht darin, die Unterschiede zwischen verschiedenen Geräten zu unterstützen. Die von BrainScaleS entwickelten Kalibrierungsprinzipien können helfen.Wir haben gerade unsere Reise auf dem Weg zu praktischen und nützlichen neuromorphen Systemen begonnen. Aber die Mühe lohnt sich. Wenn dies gelingt, werden wir nicht nur leistungsstarke Computersysteme erstellen. Wir können sogar neue Informationen über die Arbeit unseres eigenen Gehirns erhalten.