Der Durchbruch künstlicher Intelligenzsysteme in den letzten Jahren in den Bereichen autonomes Fahren, Spracherkennung, Bildverarbeitung und automatische Übersetzung wurde durch die Entwicklung künstlicher neuronaler Netze ermöglicht. Für den Start und das Training wird jedoch viel Gedächtnis und Energie benötigt. Daher arbeiten AI-Komponenten häufig auf Servern in der Cloud und tauschen Daten mit Desktop- oder Mobilgeräten aus.
Neuronale Netze bestehen aus Tausenden von einfachen, aber eng miteinander verbundenen Informationsverarbeitungsknoten, die normalerweise in Schichten organisiert sind. Neuronale Netze unterscheiden sich in der Anzahl der Schichten, Verbindungen zwischen Knoten und Knoten in jeder Schicht.
Verbindungen zwischen Knoten sind mit Gewichten verknüpft, die bestimmen, um wie viel die Ausgabe des Knotens die Berechnung des nächsten Knotens erleichtert. Während des Trainings, in dem den Netzwerken Beispiele für Berechnungen vorgestellt werden, deren Ausführung sie lernen, werden diese Gewichte ständig angepasst, bis das Ergebnis der letzten Schicht des Netzwerks mit dem Ergebnis der Berechnung übereinstimmt.
Welches Netzwerk wird energieeffizienter? Ein flaches Netz mit größeren Gewichten oder ein tieferes Netz mit geringeren Gewichten? Viele Forscher haben versucht, diese Fragen zu beantworten. In jüngster Zeit war die Hauptaktivität in der Deep-Learning-Community die Entwicklung effektiver neuronaler Netzwerkarchitekturen für Plattformen mit eingeschränkten Rechenkapazitäten. Die meisten dieser Studien konzentrierten sich jedoch entweder auf die Verkleinerung des Modells oder auf die Datenverarbeitung, während bei Smartphones und vielen anderen Geräten der Energieverbrauch aufgrund der Verwendung von Batterien und Einschränkungen des Wärmepakets von größter Bedeutung ist.
Forscher am Massachusetts Institute of Technology (MIT) unter der Leitung von Vivienne Sze, Associate Professor am Institut für Elektrotechnik und Informatik, haben einen neuen Ansatz zur Optimierung von Faltungs-Neuronalen Netzen entwickelt, der sich auf die Minimierung des Energieverbrauchs mithilfe eines neuen Tools zur Schätzung des Energieverbrauchs konzentriert.
Im Jahr 2016 stellten Vivienne Ce und ihre Kollegen einen neuen energieeffizienten Computerchip vor, der für neuronale Netze optimiert ist. Mit diesem Chip können leistungsstarke KI-Systeme lokal auf Mobilgeräten arbeiten. Jetzt näherten sich Wissenschaftler dem Problem aus einer anderen Perspektive und entwickelten verschiedene Technologien zur Entwicklung energieeffizienterer neuronaler Netze.
Zunächst entwickelte das Forschungsteam eine Analysemethode, mit der Sie bestimmen können, wie viel Energie ein neuronales Netzwerk bei der Arbeit an einem bestimmten Hardwaretyp verbraucht. Anschließend verwendeten die Wissenschaftler die Methode, um neue Technologien zur Optimierung neuronaler Netze zu evaluieren, damit sie auf Handheld-Geräten effizienter arbeiten können.
Die Forscher werden ihre Arbeiten auf der Konferenz für Computer Vision und Mustererkennung vorstellen. In dem Dokument stellen sie Methoden vor, die demnach den Energieverbrauch im Vergleich zur Standardimplementierung neuronaler Netze um 73% senken und bestehende Methoden zur Optimierung neuronaler Netze für mobile Plattformen um 43% übertreffen.
Das erste, was ein Team von Wissenschaftlern unter der Leitung von Se tat, war die Entwicklung eines Energiemodellierungswerkzeugs, das Transaktionen, Bewegungen und Datenflüsse berücksichtigt. Wenn Sie ihm die Netzwerkarchitektur und den Wert ihrer Gewichte mitteilen, teilt er Ihnen mit, wie viel Energie dieses neuronale Netzwerk verbrauchen wird. Die entwickelte Technologie gibt eine Vorstellung davon, wofür Energie aufgewendet wird, damit Algorithmusentwickler diese Informationen besser verstehen und als eine Art Feedback verwenden können.
Als die Forscher herausfanden, für welche Aktionen Energie aufgewendet wird, verwendeten sie dieses Modell, um den Entwickler energieeffizienter neuronaler Netze zu steuern. Se erklärt, dass früher andere Wissenschaftler, die versuchten, den Stromverbrauch neuronaler Netze zu reduzieren, die Bereinigungsmethode verwendeten. Verbindungen mit geringem Gewicht zwischen Knoten haben nur sehr geringe Auswirkungen auf das Endergebnis des neuronalen Netzwerks, sodass viele von ihnen sicher beseitigt und „abgeschnitten“ werden können.
Mit Hilfe des neuen Modells haben Se und ihre Kollegen diesen Ansatz abgeschlossen. Obwohl das Trimmen einer großen Anzahl von Verbindungen mit geringem Gewicht die Leistung des neuronalen Netzwerks nicht wesentlich beeinflusst, würde die Verringerung aller dieser Verbindungen wahrscheinlich einen schwerwiegenderen Effekt auf dessen Betrieb haben. Daher war es notwendig, einen Mechanismus zu entwickeln, mit dessen Hilfe ermittelt werden kann, wann aufgehört werden muss. So haben Wissenschaftler vom MIT diejenigen Schichten des Netzwerks abgeschnitten, die mehr Energie verbrauchen, was zu maximal möglichen Einsparungen führt. Wissenschaftler selbst nennen diese Methode energiesparendes Beschneiden.
Gewichte im neuronalen Netzwerk können sowohl positiv als auch negativ sein. Daher berücksichtigt die Methode der Forscher auch Fälle, in denen Verbindungen mit Gewichten des entgegengesetzten Vorzeichens für eine gegenseitige Reduktion prädisponiert sind. Die Eingaben für diesen Knoten sind die Ausgaben der Knoten in der zugrunde liegenden Schicht, multipliziert mit den Gewichten ihrer Verbindungen. Wir können sagen, dass die Methode von Wissenschaftlern aus Massachusetts nicht nur die Gewichte berücksichtigt, sondern auch, wie die verbundenen Knoten die Daten während des Trainings verarbeiten.
Wenn Gruppen von Verbindungen mit positiven und negativen Gewichten nacheinander versetzt werden, können sie sicher geschnitten werden. Laut den Forschern führt dies zur Schaffung effizienterer Netzwerke mit weniger Verbindungen als mit den zuvor verwendeten Zuschneidemethoden.