Der schnellste Supercomputer der Welt bricht den KI-Rekord

Der von IBM für das Oak Ridge National Laboratory entwickelte Summit-Supercomputer wurde 2018 zum leistungsstärksten der Welt und erhielt diesen Titel zum ersten Mal seit fünf Jahren von den Chinesen

An der Westküste der USA konkurrieren die wertvollsten Unternehmen der Welt darum, die KI intelligenter zu machen. Google und Facebook haben Experimente mit Milliarden von Fotos und Tausenden von leistungsstarken Prozessoren durchgeführt. Danach übertraf ein Projekt aus East Tennessee im vergangenen Jahr die Größenordnung einer Unternehmens-KI. Und er ging unter der Führung der US-Regierung.

Das Rekordprojekt umfasste den leistungsstärksten Supercomputer der Welt, Summit , vom Oak Ridge National Laboratory. Der Computer konnte diesen Titel im vergangenen Juni erfassen und nach fünf Jahren chinesischer Überlegenheit in die USA zurückbringen. Im Rahmen eines Klimastudienprojekts hat der Riesencomputer das Experiment zum maschinellen Lernen hochgeladen, das das schnellste war, was zuvor passiert war.

Summit, das eine Fläche von zwei Tennisplätzen abdeckt, verwendete in diesem Projekt über 27.000 leistungsstarke GPUs. Sie konzentrierten ihre Fähigkeiten auf die Arbeit mit Deep-Learning-Algorithmen, einer Technologie, die an der Spitze der KI steht und in der Lage ist, Informationen mit einer Geschwindigkeit von einer Milliarde Milliarden Operationen pro Sekunde zu mahlen - diese Geschwindigkeit in Supercomputerkreisen ist als exaop bekannt [der Autor hatte hier Exaflops - er mischte Flops, Gleitkommaoperationen mit Operationen, Operationen im Allgemeinen. Die Verarbeitungsleistung von Summit beträgt 122 Petaflops, möglicherweise maximal 200 Petaflops. Gleichzeitig erreichte er als erster Computer die Exaop-Rate oder 10 ¹⁸ Operationen pro Sekunde. Während der Analyse der genetischen Information wurde eine Geschwindigkeit von 1,88 exaop erreicht, und es wird erwartet, dass 3,3 exaop / approx bei gemischten Berechnungen erreicht werden. übersetzt.].

"Bis jetzt hat sich die eingehende Ausbildung nicht in einem solchen Ausmaß ausgeweitet", sagt Prabhat, eine führende Forschungsgruppe am Nationalen Wissenschaftszentrum für Energieforschung des Lawrence Berkeley National Laboratory. (Ja, er hat einen Namen). Sein Team arbeitete mit Forschern der Heimatbasis des Summit, dem Oak Ridge National Laboratory, zusammen.

Passenderweise konzentrierte sich die KI auf einem leistungsstarken Computer auf eines der größten Probleme der Welt: den Klimawandel. Technologieunternehmen trainieren Algorithmen zum Erkennen von Gesichtern oder Verkehrszeichen. Staatliche Wissenschaftler schulen sie darin, Wettermuster, beispielsweise Zyklone, in den zahlreichen Datensätzen zu erkennen, die in Klimasimulationen erhalten wurden. Dabei handelt es sich um dreistündige Vorhersagen der Erdatmosphäre, die sich über ein Jahrhundert erstrecken. (Es ist nicht bekannt, wie viel Energie dieses Projekt verbraucht hat oder wie viel Kohlenstoff es in die Atmosphäre abgegeben hat.)


Racks mit Summit-Geräten verbinden 300 km Glasfaserkabel, und neben 37.000 Prozessoren zirkulieren jede Minute 15.000 Liter Wasser, um sie zu kühlen.

Die Konsequenzen des Gipfelexperiments werden sich auf die Zukunft der KI und der Klimatologie auswirken. Das Projekt zeigt das wissenschaftliche Potenzial der Möglichkeiten der Anwendung von GO auf Supercomputer, die traditionell physikalische und chemische Prozesse wie nukleare Explosionen, Schwarze Löcher oder neue Materialien simulieren. Er zeigt auch, dass eine Erhöhung der Rechenleistung - wenn sie empfangen wird - Vorteile für das MO bietet - und dies ist ein gutes Zeichen für zukünftige Durchbrüche.

"Bis wir dieses Projekt durchgeführt haben, wussten wir nicht, dass es so viel skalieren kann", sagt Rajat Monga, technischer Direktor von Google. Er und andere Google-Helfer halfen dem Projekt, indem sie TensorFlow, die MO-Software, an die enorme Größe von Summit anpassten.

Die meisten Arbeiten zur Skalierung von GO fanden in den Rechenzentren von Internetunternehmen statt, in denen die Server bei Aufgaben zusammenarbeiten und diese in Teile aufteilen, da sie relativ frei kombiniert und nicht zu einem riesigen Computer verbunden sind. Für Supercomputer wie Summit sieht die Architektur anders aus: Sie verfügen über spezielle Hochgeschwindigkeitsverbindungen, die Tausende von Prozessoren zu einem einzigen System kombinieren, das als Ganzes funktionieren kann. Bis vor kurzem haben nur wenige Leute versucht, das MO an eine ähnliche Hardware anzupassen.

Laut Monga wird die Anpassung von TensorFlow an Summit die Bemühungen von Google zur Erweiterung seiner eigenen KI-Systeme wiederbeleben. Die Ingenieure von Nvidia waren ebenfalls an diesem Projekt beteiligt und stellten die nahtlose Zusammenarbeit von Zehntausenden von Nvidia-GPUs sicher.

Die Tatsache, dass Methoden gefunden wurden, um GO-Algorithmen mit zunehmender Verarbeitungsleistung zu versorgen, hat eine Rolle bei der aktiven Entwicklung der Technologie gespielt, die in letzter Zeit durchgeführt wurde. Die Technologie, mit der Siri Ihre Stimme erkennt, und Waymo-Roboterautos, um Verkehrszeichen zu erkennen, wurde 2012 nützlich, nachdem Forscher sie für die Arbeit mit Nvidia-GPUs angepasst hatten.

In einem im vergangenen Mai veröffentlichten analytischen Artikel berechneten Forscher von OpenAI, einem Forschungsinstitut in San Francisco, zu dessen Investoren Elon Musk gehörte, die Menge an Computerressourcen in den größten Projekten im Zusammenhang mit dem MO, die der Öffentlichkeit seit 2012 bekannt sind verdoppelt sich ungefähr alle 3,43 Monate - oder wächst 11 Mal pro Jahr. Diese Fortschritte haben den Bots von Alphabet, der Muttergesellschaft von Google, geholfen, die Champions komplexer Brettspiele und Videospiele zu besiegen, und einen großen Sprung in der Genauigkeit der Übersetzungen des Google-Dienstes gemacht.

Jetzt entwickeln Google und andere Unternehmen neue Arten von Chips, die speziell auf AI zugeschnitten sind, um diesen Trend fortzusetzen. Google sagt, dass ihre "Pods", die über 1000 ihrer Chips für AI eng integrieren - sie nennen sie Tensorprozessoren oder TPU - 100 Petaflops Rechenleistung produzieren können, was 10-mal [anscheinend doppelt so real / ca. trans.] weniger als das, was Summit in seinem KI-Experiment erreicht hat.

Der Beitrag des Gipfels zur Klimatologie besteht darin zu zeigen, wie eine enorme KI unser Verständnis zukünftiger Wettermuster verbessern kann. Wenn Forscher hundert Jahre im Voraus Klimavorhersagen veröffentlichen, wird es ziemlich schwierig, diese zu lesen. „Stellen Sie sich vor, Sie haben ein YouTube-Video, das 100 Jahre dauert. Manuell können Sie dort nicht alle Katzen und Hunde finden “, sagt Prabhat. Software, die üblicherweise zur Automatisierung von Prozessen verwendet wird, sei unvollkommen. Die Ergebnisse des Gipfels zeigten, dass das Verteidigungsministerium bessere Ergebnisse erzielen kann, und dies sollte dazu beitragen, die Auswirkungen von Stürmen wie Überschwemmungen und Zerstörungen vorherzusagen. Die Ergebnisse des Gipfels brachten Forschern in Oakridge und Nvidia den Gordon Bell Award für herausragende Leistungen im Bereich Supercomputing ein.

Die Einführung von GO auf Supercomputern ist eine neue Idee, die für Klimatologen zum richtigen Zeitpunkt kam, sagt Michael Pritchard, Professor an der University of California in Irvine. Die verlangsamte Geschwindigkeit der Verbesserungen bei herkömmlichen Prozessoren hat die Ingenieure gezwungen, Supercomputer mit einer zunehmenden Anzahl von Grafikchips zu füllen, bei denen die Leistung zuverlässiger wächst. "Es ist die Zeit gekommen, in der es nicht mehr möglich war, die Rechenleistung auf die übliche Weise zu erhöhen", sagt Pritchard.

Diese Änderungen sind Hindernisse für die üblichen Simulationen, die angepasst werden müssen. Sie bieten auch die Möglichkeit, die gesamte Leistungsfähigkeit von GO zu nutzen, die natürlich für Grafikchips geeignet ist. Dies kann uns ein klareres Bild von der Zukunft unseres Klimas geben. Die Gruppe von Pritchard im letzten Jahr hat gezeigt, dass GOs realistischere Wolkensimulationen in Klimavorhersagen erstellen können, wodurch Prognosen über Änderungen der Niederschlagsmuster verbessert werden können.