Clif Young, ein Google-Programmierer, erklärt, wie die explosive Entwicklung von Deep-Learning-Algorithmen mit dem Scheitern des Moore'schen Gesetzes zusammenfällt, das seit Jahrzehnten an der Faustregel für den Fortschritt von Computerchips arbeitet, und die Entwicklung grundlegend neuer Rechenschemata erzwingt
Die explosive Entwicklung von KI- und maschinellen Lernalgorithmen verändert die Art des Rechnens - wie es in einem der größten Unternehmen heißt, die KI praktizieren - bei Google. Der Google-Programmierer Cliff Young sprach bei der Eröffnung der Herbst-Mikroprozessorkonferenz der Linley Group, einem beliebten Computerchip-Symposium des ehrwürdigen Halbleiterunternehmens.
Young sagte, dass der Einsatz von KI in dem Moment in die "exponentielle Phase" eintrat, als das Mooresche Gesetz, die Faustregel für den Fortschritt von Computerchips seit Jahrzehnten, vollständig gehemmt wurde.
"Die Zeiten sind ziemlich nervös", sagte er nachdenklich. „Digitale CMOS verlangsamen sich, wir sehen Probleme mit dem 10-nm-Prozess bei Intel, wir sehen sie beim 7-nm-Prozess von GlobalFoundries und gleichzeitig mit der Entwicklung von Deep Learning entsteht eine wirtschaftliche Nachfrage. CMOS, eine komplementäre Metalloxid-Halbleiter-Struktur, ist das am häufigsten verwendete Material zur Herstellung von Computerchips.
Während klassische Chips die Effizienz und Produktivität kaum steigern können, steigen die Anfragen von KI-Forschern, sagte Young. Er erstellte einige Statistiken: Die Anzahl der wissenschaftlichen Arbeiten zum maschinellen Lernen, die auf der von der Cornell University unterhaltenen arXiv-Preprint-Site gespeichert sind, verdoppelt sich alle 18 Monate. Und die Anzahl der internen Projekte, die sich bei Google auf KI konzentrieren, verdoppelt sich ebenfalls alle 18 Monate. Der Bedarf an Gleitkommaoperationen, die zur Verarbeitung der beim maschinellen Lernen verwendeten neuronalen Netze erforderlich sind, wächst noch schneller - er verdoppelt sich alle dreieinhalb Monate.
All dieses Wachstum bei Computerabfragen wird zu "Moores Supergesetz" kombiniert, sagte Young, und er nannte das Phänomen "ein wenig beängstigend" und "ein wenig gefährlich" und "etwas, worüber man sich Sorgen machen muss".
"Woher kam all dieses exponentielle Wachstum", fragte er im Bereich der KI. „Der springende Punkt ist insbesondere, dass tiefes Lernen einfach funktioniert. In meiner Karriere habe ich maschinelles Lernen lange ignoriert “, sagte er. "Es war nicht offensichtlich, dass diese Dinge abheben konnten."
Aber dann entstanden schnell Durchbrüche wie die Mustererkennung, und es wurde klar, dass tiefes Lernen „unglaublich effektiv ist“, sagte er. „In den letzten fünf Jahren waren wir größtenteils das Unternehmen, das KI an erster Stelle stellt, und wir haben die meisten auf KI basierenden Unternehmen neu gestaltet“, von der Suche über die Werbung bis hin zu vielem mehr.
Das Google Brain-Projektteam, ein führendes KI-Forschungsprojekt, benötigt „riesige Maschinen“, sagte Young. Beispielsweise werden neuronale Netze manchmal anhand der Anzahl der in ihnen verwendeten „Gewichte“ gemessen, dh anhand der Variablen, die auf das neuronale Netz angewendet werden, und beeinflussen, wie es die Daten verarbeitet.
Und wenn gewöhnliche neuronale Netze Hunderttausende oder sogar Millionen von Gewichten enthalten können, die berechnet werden müssen, benötigen Google-Forscher „Tera-Weight-Maschinen“, dh Computer, die Billionen von Gewichten berechnen können. Denn "jedes Mal, wenn wir die Größe des neuronalen Netzwerks verdoppeln, verbessern wir seine Genauigkeit." Die Regel der KI-Entwicklung ist, immer größer zu werden.
Auf Anfrage von Google entwickeln sie eine eigene Chipreihe für das MO, die Tensor Processing Unit. TPU und dergleichen werden benötigt, da herkömmliche CPUs und GPU-Grafikchips die Last nicht bewältigen können.
"Wir haben uns sehr lange zurückgehalten und gesagt, dass Intel und Nvidia sehr gut darin sind, Hochleistungssysteme zu entwickeln", sagte Young. "Aber wir haben diese Grenze vor fünf Jahren überschritten."
TPU sorgte nach dem ersten öffentlichen Auftritt im Jahr 2017 für Aufsehen, da behauptet wurde, dass es in Bezug auf die Geschwindigkeit die normalen Chips übertrifft. Google arbeitet bereits an der TPU der dritten Generation, verwendet sie in seinen Projekten und bietet Computerfunktionen bei Bedarf über den Google Cloud-Dienst an.
Das Unternehmen stellt weiterhin immer größere TPUs her. In seiner "Legacy" -Konfiguration sind 1024 TPUs gemeinsam mit einem neuen Supercomputertyp verbunden, und Google plant laut Young, dieses System weiter auszubauen.
"Wir bauen riesige Multicomputer mit einer Kapazität von mehreren zehn Petabyte", sagte er. "Wir bewegen uns unermüdlich gleichzeitig in mehrere Richtungen, und der Betrieb im Terabyte-Bereich wächst weiter." Solche Projekte werfen alle Probleme auf, die mit der Entwicklung von Supercomputern verbunden sind.
Zum Beispiel haben Google-Ingenieure die Tricks des legendären Cray-Supercomputers übernommen. Sie kombinierten das gigantische „Matrixmultiplikationsmodul“, den Teil des Chips, der die Hauptlast für die Berechnung neuronaler Netze trägt, mit dem „Vektor-Allzweckmodul“ und dem „skalaren Allzweckmodul“, wie dies in Cray durchgeführt wurde. "Die Kombination von Skalar- und Vektormodulen ermöglichte es Cray, alle in Bezug auf die Leistung zu überholen", sagte er.
Google hat seine eigenen innovativen arithmetischen Designs für die Programmierung von Chips entwickelt. Eine bestimmte Art der Darstellung von reellen Zahlen, die als bfloat16 bezeichnet wird, bietet eine erhöhte Effizienz bei der Verarbeitung von Zahlen in neuronalen Netzen. In der Umgangssprache wird es als „Brain Float“ bezeichnet.
TPU verwendet die schnellsten Speicherchips, Speicher mit hoher Bandbreite oder HBM (Speicher mit hoher Bandbreite). Er sagte, dass die Nachfrage nach großen Speichermengen beim Training neuronaler Netze schnell wächst.
„Das Gedächtnis wird während des Trainings intensiver genutzt. Die Leute sprechen von Hunderten Millionen Gewichten, aber es gibt Probleme bei der Verarbeitung der Aktivierung von "Variablen eines neuronalen Netzwerks".
Google passt auch die Art und Weise an, wie neuronale Netze programmiert werden, um das Beste aus Eisen herauszuholen. "Wir arbeiten an Modelldaten und Parallelität" in Projekten wie "Mesh TensorFlow" - Anpassungen der TensorFlow-Softwareplattform "Kombination von Daten und Parallelität auf der Skala des Pods".
Young gab einige technische Details nicht bekannt. Er bemerkte, dass das Unternehmen nicht über interne Verbindungen sprach, darüber, wie sich Daten entlang des Chips bewegen - er bemerkte einfach, dass "unsere Konnektoren gigantisch sind". Er weigerte sich, auf dieses Thema einzugehen, was das Publikum zum Lachen brachte.
Young wies auf noch interessantere Bereiche des Rechnens hin, die bald zu uns kommen könnten. Zum Beispiel schlug er vor, dass Berechnungen mit analogen Chips, Schaltkreisen, die Eingangsdaten in Form von kontinuierlichen Werten anstelle von Nullen und Einsen verarbeiten, eine wichtige Rolle spielen können. "Vielleicht wenden wir uns dem analogen Bereich zu. In der Physik gibt es viele interessante Dinge, die mit analogen Computern und NVM-Speicher zusammenhängen."
Er äußerte auch die Hoffnung auf den Erfolg der auf der Konferenz vorgestellten Chip-Start-ups: „Hier gibt es sehr coole Start-ups, und wir brauchen sie, um zu funktionieren, da die Möglichkeiten des digitalen CMOS nicht unbegrenzt sind. Ich möchte, dass all diese Investitionen ausgelöst werden. “