IBM hat ein Faltungsnetzwerk für den Betrieb auf einem neuromorphen Chip angepasst

Laut IBM entspricht die TrueNorth- Genauigkeit den besten Bilderkennungs- und Spracherkennungssystemen von heute, verbraucht aber auch weniger Energie und ist schneller. Das Forschungsteam des Unternehmens ist zuversichtlich, dass wir durch die Kombination von Faltungsnetzwerken mit neuromorphen Mikroschaltungen fortschrittlichere intelligente Autos und Smartphones entwickeln können, die den Sprachbefehl einer Person korrekt erkennen, selbst wenn sie mit vollem Mund spricht. Versuchen wir herauszufinden, welche Vor- und Nachteile TrueNorth hat und wo es Anwendung findet.

Das menschliche Gehirn enthält ungefähr 86 Milliarden Neuronen - Zellen, die über Synapsenprozesse mit Tausenden anderer Neuronen verbunden sind. Ein Neuron empfängt Signale von vielen anderen und wenn die Stimulation eine bestimmte Schwelle erreicht, wird es „aktiviert“, indem es sein eigenes Signal an die umgebenden Neuronen sendet. Das Gehirn lernt insbesondere durch die Anpassung starker Bindungen. Wenn die Abfolge von Aktionen beispielsweise durch Übung wiederholt wird, werden die begleitenden Synapsen stärker und die erlernte Lektion oder Fertigkeit „passt“ in das Netzwerk.

In den 1940er Jahren begannen Wissenschaftler, Neuronen mathematisch zu modellieren, und in den 50er Jahren schufen sie Netzwerke von Neuronen und Computern. Künstliche Neuronen und Synapsen sind viel einfacher als im Gehirn, arbeiten jedoch nach denselben Prinzipien. Viele einfache Einheiten - Neuronen - sind über „Synapsen“ mit anderen verbunden, wobei ihre numerischen Werte von den Werten der Einheiten abhängen.

Convolutional Neural Network (CNN) ist ein spezieller Netzwerktyp, der in den letzten Jahren an Popularität gewonnen hat. CNNs extrahieren wichtige Merkmale aus Anreizen - normalerweise Fotos. Nehmen Sie zum Beispiel ein Foto eines Hundes. Es kann als eine Schicht von Neuronen dargestellt werden, wobei die Aktivierung eines Neurons ein Pixel im Bild darstellt. Auf der nächsten Schicht erhält jedes Neuron Eingaben von einem Satz der ersten Schicht und wird aktiviert, wenn es ein bestimmtes Muster in diesem Satz erkennt, das als Filter fungiert.

In nachfolgenden Schichten suchen Neuronen nach Mustern in Mustern und so weiter. Innerhalb einer einzelnen Schicht können Filter für bestimmte Strukturen empfindlich sein. Zuerst zu den Rändern der Figuren, dann zu den Pfoten, dann zu den Hunden, bis das Netzwerk den Unterschied zwischen Hund und Toaster feststellen kann.

Solche Berechnungen sind jetzt teuer. Angesichts der Tatsache, dass sich im menschlichen Gehirn Milliarden von Neuronen und Billionen von Synapsen befinden, ist eine Nachahmung dieser Neuronen noch nicht möglich. Selbst die Simulation eines kleinen Teils des Gehirns erfordert Millionen von Berechnungen für jedes Eingabeelement, was eine enorme Verarbeitungsleistung erfordert. Die größten modernen CNNs können Millionen von Neuronen und Milliarden von Synapsen haben, aber nicht mehr.

Die klassische Computerarchitektur von Zentralprozessoren, die darauf ausgelegt ist, jeweils einen Befehl zu verarbeiten, ist nicht für die von CNN auferlegten Aufgaben geeignet. Daher wandten sich die Wissenschaftler dem parallelen Rechnen zu, das mehrere gleichzeitig verarbeiten kann. Moderne neuronale Netze verwenden Grafikprozessoren, die normalerweise die Grafiken von Videospielen und CAD berechnen. Aufgrund der Architektur und der Ähnlichkeit mathematischer Berechnungen eignen sich Grafikkarten für tiefes Lernen.

Dennoch bewältigt die Hardware Deep Learning nicht so effektiv wie das Gehirn, das ein Auto fahren und gleichzeitig über die Zukunft autonomer Fahrzeuge sprechen kann, während es weniger Energie verbraucht als eine Glühbirne.

In den 1980er Jahren prägte Ingenieur Carver Mead den Begriff „neuromorphe Prozessoren“, um Computerchips zu beschreiben, die wie ein Gehirn funktionieren. Seine Arbeit legte den Grundstein für diesen Bereich. Obwohl der Begriff „neuromorph“ mittlerweile für eine Vielzahl von Lösungen verwendet wird, versuchen alle, den Funktionsmechanismus neuronaler Netze auf Hardwareebene zu wiederholen, um die Engpässe zu vermeiden, auf die herkömmliche Prozessoren stoßen.

Angesichts der Notwendigkeit eines schnellen und effizienten maschinellen Lernens finanziert das Advanced Projects Office des US-Verteidigungsministeriums (besser bekannt unter dem Akronym DARPA) seit 2008 aktiv das Unternehmenslabor von IBM HRL Laboratories, um neuromorphe Maschinen zu entwickeln, die sich leicht skalieren lassen.

TrueNorth

2014 stellte IBM seinen TrueNorth-Chip auf dem Cover des Science Magazine vor. Seitdem entwickelt das Unternehmen TrueNorth-basierte Systeme mit finanzieller Unterstützung des US-Energieministeriums, der Luftwaffe und der Armee. Ein solcher Chip enthält eine Million "Neuronen", von denen jeder durch eine Gruppe digitaler Transistoren dargestellt wird, und 256 Millionen "Synapsen" - verdrahtete Verbindungen zwischen den Chips.

Neuromorphe Architekturen werden aufgrund zweier Funktionen effizienter als herkömmliche Chips. Erstens kommuniziert ein solcher Chip wie das Gehirn durch "Blitze" - eindimensionale Informationspakete, die von einem Neuron an absteigende Neuronen gesendet werden. Die Signale sind einfach (ob es einen Blitz gibt oder nicht) und werden nur gelegentlich übertragen, wenn ein Neuron ein Paket sendet. Zweitens befinden sich Verarbeitung und Gedächtnis genau wie im Gehirn in Neuronen und Synapsen. Auf einem herkömmlichen Computer extrahiert die Datenverarbeitungseinheit ständig Informationen aus einzelnen Speicherbereichen, führt Operationen aus und gibt dann neue Informationen an den Speicher zurück. Dies führt zu vielen langsamen und energieaufwendigen Aktivitäten.

Das TrueNorth-System ist sehr flexibel, da es so programmiert werden kann, dass Netzwerke unterschiedlicher Größe und Form implementiert und durch „Brechen“ mehrerer Chips skaliert werden. In seiner wissenschaftlichen Arbeit verwendete das IBM-Team einen neuromorphen Chip, um Personen, Fahrräder und Autos in einem auf der Straße aufgenommenen Video zu identifizieren. Ein Vergleichsexperiment zeigte, dass TrueNorth-Software, die auf einem herkömmlichen Mikroprozessor ausgeführt wird, für diese Aufgabe 176.000 Mal mehr Energie verbraucht.

Ein wesentlicher Bestandteil des IBM-Projekts war die Erstellung nicht nur eines Chips, sondern auch von Software. Das Unternehmen hat einen Simulator, eine neue Programmiersprache und eine Bibliothek mit Algorithmen und Anwendungen erstellt. Das Unternehmen stellte diese Tools dann mehr als 160 Forschern in akademischen, nationalen und Unternehmenslabors zur Verfügung. Das Design von TrueNorth wurde 2011 fertiggestellt, und die Revolution des Faltungsnetzwerks fand 2012 im Rahmen der ImageNet Challenge statt . Einige Leute fragten sich, ob TrueNorth-Chips mit diesen Netzwerken umgehen könnten.

CNN verwendet die Backpropagation-Methode. Jedes Mal, wenn das Netzwerk einen Fehler macht, wird der Unterschied zwischen seiner Annahme und der richtigen Antwort berechnet. Der Fehlerrückausbreitungsalgorithmus berücksichtigt jedes Neuron in der letzten Schicht und berechnet, um wie viel eine Änderung der Ausgabe dieses Neurons den Gesamtfehler verringert. Dann kehrt er zu den vorherigen Neuronen zurück und berechnet, um wie viel eine Änderung der Stärke jeder ankommenden Synapse den Gesamtfehler verringert.

Es muss herausgefunden werden, ob die synaptische Stärke erhöht oder verringert werden sollte, damit der Algorithmus jedes Gewicht leicht in die richtige Richtung anpasst. Anschließend berechnet der Algorithmus anhand der neuen Gewichte einen neuen Fehler und wiederholt den gesamten Vorgang. Nach vielen solchen Schritten nimmt der Fehler in einem Prozess ab, der als Gradientenabstieg bezeichnet wird.

TrueNorth wurde ursprünglich als mit dem Back-Propagation-Fehleralgorithmus nicht kompatibel angesehen, da der Gradientenabstieg winzige Gewichtsanpassungen und die Vision für winzige Verbesserungen erfordert. TrueNorth maximiert seine Effizienz mit nur drei verschiedenen Gewichtswerten: -1, 0 und 1, und die Ausgabe des Neurons ist 0 oder 1. Es gibt keine Gradienten, nur diskrete Schritte.

Eine der wichtigsten Errungenschaften des Teams war eine Reihe von Methoden zur Durchführung des Backpropagation-Algorithmus mit gepulsten neuronalen Netzen. Die Forscher lösten dieses Problem, indem sie das Softwaremodell des Chips trainierten, das so programmiert war, dass es eine Hardware-Näherung verwendet, die mit dem Gradientenabstieg kompatibel ist.

Eine weitere wichtige Entwicklung war die Zuordnung von CNN zu einer Vielzahl von Verbindungen zu Neuronen auf einem Chip, an der nur 256 Verbindungen pro Neuron beteiligt sind. Dies wurde erreicht, indem bestimmte Paare von Neuronen zugewiesen wurden, die gleichzeitig arbeiten und durch Ein- und Ausgänge zu einem Neuron kombiniert werden.

Trotz der relativ hohen Leistung von TrueNorth wurde es ohne Berücksichtigung der Merkmale von tiefen neuronalen Netzen und CNN erstellt, sodass es im Vergleich zu anderen Systemen Nachteile aufweist. Damit ein Netzwerk mit 30.000 Neuronen funktioniert, sind beispielsweise 8 Chips (8 Millionen Neuronen) erforderlich. Darüber hinaus ist TrueNorth ein vollständig digitaler Chip, wenn einige über analoge Komponenten verfügen. Ihre Arbeit ist unvorhersehbarer, aber immer noch effizienter. Und obwohl jeder TrueNorth-Chip in 4096 parallel arbeitende „Kerne“ unterteilt ist, werden 256 Neuronen in jedem Kern nur nacheinander und einzeln aktualisiert.

Die sequentielle Verarbeitung von Neuronen im TrueNorth-Kern kann zu einem Engpass führen, bietet aber auch Regelmäßigkeit. Dies bedeutet, dass das Verhalten des Chips auf Desktop-Computern mit hoher Genauigkeit simuliert werden kann. Gleichzeitig ist der Chip universell - er kann viele verschiedene Arten von Netzwerken unterstützen, und das aktuelle Ziel des Chip-Erstellungsteams unter der Leitung von Dharmendra Modha, dem Chef-Hirnforscher von IBM, besteht darin, mehrere verschiedene Netzwerke zusammenzuarbeiten, um Compositing zu erreichen.

Zukunftspläne

Das Modha-Team erreicht nicht nur die Kompositität, sondern erforscht auch verschiedene Lehrmethoden. Wissenschaftler stellen außerdem fest, dass die in ihrer Arbeit beschriebenen Methoden auf andere neuromorphe Chips als TrueNorth angewendet werden können. Zusätzlich zu neuen Lehrmethoden denkt das Team über radikalere Erfolge nach. Laut einem Bericht des US-Energieministeriums über neuromorphes Computing aus dem Jahr 2015 werden derzeit etwa 5 bis 15% der weltweiten Energie in irgendeiner Form für die Datenverarbeitung und -übertragung verbraucht. Gleichzeitig möchte die Abteilung die Geschwindigkeit, Effizienz und Fehlertoleranz von Netzwerken erhöhen. Dieser Bericht veranlasste das IBM-Team, über die Entwicklung von Materialien mit neuen physikalischen Eigenschaften nachzudenken.

Das globale Ziel besteht darin, die riesigen Rechenzentren durch Chips in Smartphones, Haushalten und Autos zu ersetzen, die selbst „denken“ können: Gespräche führen, wissenschaftliche und medizinische Entdeckungen machen, Autos, Roboter oder Gliedmaßenprothesen fahren. Im Idealfall können diese Chips noch größere Erfolge erzielen, beispielsweise das Problem des Hungers in der Welt lösen.

Mehrere Forschungslabors setzen TrueNorth bereits aktiv ein. Im August 2016 demonstrierte Samsung ein System, das mithilfe eines Videostreams eine dreidimensionale 3D-Umgebungskarte mit einer Geschwindigkeit von 2000 Bildern pro Sekunde erstellt und dabei ein Drittel Watt verbraucht. Das Unternehmen nutzte dieses System, um das Fernsehen mit Handgesten zu steuern.

Das Lawrence Livermore National Laboratory verfügt über ein 16-Chip-TrueNorth-Board, mit dem die Cybersicherheit und die nukleare Sicherheit der USA verbessert werden. Das Forschungslabor der Luftwaffe, das TrueNorth für die autonome Navigation unbemannter Luftfahrzeuge einsetzt, hat kürzlich Pläne angekündigt, eine Reihe von 64 Chips auszuprobieren.