8-Bit-Analogspeicher für die Arbeit mit neuronalen Netzen

Ende des Jahres erschien auf Habré ein Artikel, wonach IBM den ersten 8-Bit-Chip basierend auf einem Speicher mit Phasenwechselspeicher (Phasenwechselspeicher oder PCM) erstellen konnte.

Heute werden wir Ihnen erzählen, wie das vom IT-Riesen dargestellte Gerät funktioniert.


/ Foto IBM Research CC BY-ND

Was ist der Zweck der Entwicklung eines Chips?

Moderne maschinelle Lernsysteme arbeiten hauptsächlich auf Basis von Grafikprozessoren (GPUs). Sie erfordern eine aktive Kühlung, da sich die GPU bis zu zweimal schneller erwärmen kann als Zentraleinheiten (CPUs). Dies führt zu hohen Stromrechnungen für Rechenzentren, in denen sich solche Computercluster befinden.

Das Problem der Reduzierung des Energieverbrauchs ist für Rechenzentren (DPC) wichtig. Laut Analysten werden Rechenzentren bis 2025 20% des gesamten erzeugten Stroms verbrauchen. Um die Kosten für Rechenzentren zu senken, werden neue Technologien für maschinelles Lernen (MO) entwickelt. Dazu gehört der analoge 8-Bit-Phasenwechsel-Analogspeicher (PCM) von IBM. Laut Entwicklern werden die neuen Chips hundertmal produktiver sein als klassische GPUs und 280-mal weniger Energie benötigen.

Die Vorteile des PCM-Speichers werden durch die Tatsache erklärt, dass die Verarbeitung und Speicherung von Daten auf einem Gerät erfolgt. In herkömmlichen Systemen sind diese Prozesse getrennt - Daten müssen von Gerät zu Gerät übertragen werden, wodurch die Berechnungsgeschwindigkeit und ihre Energieeffizienz verringert werden.

Der Chip arbeitet mit 8-Bit-Gleitkommazahlen. In der Regel werden beim maschinellen Lernen Zahlen mit größerer Genauigkeit verwendet. Laut IBM-Forschern reicht dies jedoch für alltägliche Aufgaben aus.

Den Entwicklern der Technologie gelang es , sie bei der Übersetzung von Texten und der Erkennung von Sprache und Bildern anzuwenden. Jeff Welser, IBM Vice President of Research, verglich den Betrieb eines neuronalen Netzwerks in einem Chip mit einer Person, die eine verschwommene Figur in einem beschlagenen Fenster sieht, aber dennoch seinen Verwandten oder Freund an dieser Stelle erkennt.

IBM hat bereits die ersten Ergebnisse des PCM-Speichers mit Technologien für maschinelles Lernen gezeigt. Auf dem Chip wurde ein einfaches einschichtiges neuronales Netzwerk gestartet, das die handgeschriebenen Nummern 1, 0 und 4 erkannte. Der Algorithmus unterschied Bilder mit 100% iger Genauigkeit.

Funktionsweise von IBM Analog Memory

Der Chip besteht aus einer Legierung aus Germanium, Tellur und Antimon, die zwischen zwei Elektroden angeordnet ist. Wenn ein Strom durch das Material fließt, ändert er seinen Zustand von kristallin zu amorph. Diese Zustände bedeuten null oder eins.

Aufgrund der Tatsache, dass sich die Phase nicht im gesamten Volumen der Legierung ändert, sondern nur in ihrem Teil, können Zwischenwerte zwischen 0 und 1 in der Zelle gespeichert werden. Beim Schreiben in den Speicher werden die Zahlen nicht „gerundet“, was zu einer höheren Genauigkeit der funktionierenden Algorithmen beiträgt auf dem Chip. Es wird angenommen, dass diese Methode der Datenspeicherung das Verhalten von Neuronen im menschlichen Gehirn genauer wiedergibt.

Beim Lesen von Daten wird ein kleiner Strom durch die Zelle geleitet und der Widerstand gemessen. Im amorphen Zustand ist der Legierungswiderstand höher als im kristallinen - dieser Parameter bestimmt die in der Zelle gespeicherte Anzahl.

Obwohl die Lesespannung niedriger ist als die, die zum Ändern des Phasenzustands des Materials erforderlich ist, führt dies zu einer leichten Partikelverschiebung und Datenverfälschung. Daher verbesserte IBM den PCM-Speicher und fügte dem Gerät eine zusätzliche Schicht Titannitrid hinzu, die die Legierung „ umhüllt “ - es wurde als Reflektor bezeichnet.


/ Koelmans, WW et al. Projizierte Phasenwechselspeichergeräte / CC BY

Bei der Datenaufzeichnung beeinflusst der Reflektor den Stromdurchgang durch die Legierung nicht, da der Widerstand von Titannitrid in diesem Fall höher ist als der Widerstand des Zellmaterials. Beim Lesen von Daten wird der Widerstand des Zellmaterials höher als der des Reflektors, und daher fließt der Strom durch die äußere Schicht unter Umgehung der Legierung. IBM nannte diese Art von Speicher Proj-PCM oder projiziertes PCM - „PCM mit Reflektor“.

Technologie-Ausblick

In der IT-Branche reagierte der neue Chip positiv. Laut dem wissenschaftlichen Herausgeber von Ars Technica hat das Gerät ein großes Potenzial - mit der Entwicklung der Technologie und der Verringerung der Größe der Speicherzelle kann IBM die Produktivität des Geräts um mindestens das Hundertfache steigern. Der IT-Riese hat jedoch noch einige Schwierigkeiten nicht gelöst.

Die erste ist die Massenproduktion von PCM-Speicher. Laut dem Prozessor-Marktanalysten Linley Gwennap variieren die Chip-Eigenschaften wie Betriebsspannung und Widerstand der elektronischen Schaltung von Gerät zu Gerät. Gwennap glaubt, dass IBM noch keinen geeigneten Herstellungsprozess entwickelt hat, sodass der analoge Chip nicht bald zu einem kommerziellen Produkt werden wird.

Eine weitere Schwierigkeit ist die Beständigkeit gegen Temperaturänderungen. Jetzt ändert die Legierung unter dem Einfluss von Hitze oder Kälte ihre Phase. Daher müssen die Entwickler des Geräts einen Weg finden, um den Chip vor Temperaturschwankungen zu schützen. Wahrscheinlich besteht die Lösung darin, die Größe des Geräts zu verringern - Studien zeigen, dass das Material bei einer Schichtdicke von mehreren Nanometern weniger temperaturempfindlich ist.


/ Foto IBM Research CC BY-ND

Wer entwickelt noch Chips für das MO?

Eine ähnliche Technologie wird vom Mythic-Startup entwickelt. Das Herzstück des Unternehmens ist ein mehrstufiger Flash-Speicher (Mehrebenenzelle oder MLC). Eine Chipzelle kann nicht zwei oder vier Ladezustände speichern , wie bei den üblicheren Flash-Speichergeräten, sondern 256. Dies erhöht ihre Kapazität erheblich. Es wird erwartet, dass dieser Speicher zur Implementierung von Algorithmen für maschinelles Lernen im Internet der Dinge verwendet wird: Smartphones, Drohnen, intelligente Lautsprecher und Hörgeräte .

Ein weiterer ähnlicher Chip wird von Syntiant erstellt. Berechnungen im Gerät werden auch im MLC-Speicher durchgeführt. Der Hauptvorteil der Technologie ist der geringe Stromverbrauch. Unternehmensvertreter sagen, dass ihr Gerät 50-mal weniger Strom verbraucht als digitale Prozessoren. Syntiant wird auch in batteriebetriebenen Geräten verwendet: Smartphones, tragbare Geräte, Sensoren und Überwachungskameras. Das Startup arbeitet bereits an der ersten kommerziellen Implementierung der Technologie - einem „intelligenten“ Mikrofon.

Im Allgemeinen sind analoge PCM-Chips noch nicht für hochpräzises Rechnen ausgelegt. Daher werden sie in Kombination mit Zentral- und Grafikprozessoren eingesetzt. IBM glaubt, dass eine Hybridarchitektur ein Gleichgewicht zwischen Leistung und Genauigkeit herstellen kann. In Zukunft wird jedoch erwartet, dass der analoge Speicher die klassischen Chips in Rechenzentren ersetzen kann.

---

Erster Corporate IaaS Blog:

• VMworld Europe 2018 - die wichtigsten Ankündigungen der vergangenen Konferenz
• Warum Unternehmenskunden virtuelle Maschinen anstelle von Containern verwenden

Unser Telegramm IaaS Blog:

• GDPR ... GDPR überall
• GDPR- und IT-Sektor: Zusammenfassung des Jahres
• Ungewöhnliche Rechenzentren - was sind sie?