50 (oder 60) Jahre Prozessorentwicklung ... dafür?

"Dennards Skalierungsgesetz und Moores Gesetz sind tot, was nun?" - ein Stück in vier Akten von David Patterson

„Wir verbrennen die Brücken, die wir hier hetzen, und haben keine anderen Beweise für unsere Bewegung, außer den Erinnerungen an den Rauchgeruch und die Annahme, dass er Tränen verursacht hat“ - „Rosencrantz und Guildenstern sind tot“, ein absurdes Stück von Tom Stoppard

Am 15. März sprach Dr. David Patterson vor rund 200 Pizza-Ingenieuren. Der Arzt erzählte ihnen während eines IEEE-Vortrags mit dem Titel „50 Jahre Computerarchitektur: Von zentralen Verarbeitungseinheiten zu DNN TPU und Open RISC-V“ kurz die Geschichte des Bauens von Computern an den Ständen im großen Konferenzraum von Gebäude E auf dem Campus von Texas Instruments in Santa Clara. Dies ist eine Geschichte von zufälligen Höhen und Tiefen, Einbrüchen und schwarzen Löchern, die ganze Architekturen verschluckt haben.

Patterson begann in den 1960er Jahren mit dem bahnbrechenden IBM System / 360-Projekt, das auf Maurice Wilks 'Mikroprogrammierungsarbeiten von Anfang 1951 basierte. Nach IT-Maßstäben ist es lange her ... Gegen Ende der Rede zeigte Patterson ein erstaunliches Diagramm. Es zeigt deutlich, wie genau der Tod von Dennards Skalierungsgesetz, gefolgt vom Tod von Moores Gesetz, die Entwurfsmethoden von Computersystemen vollständig verändert hat. Am Ende erklärte er die posthumen technologischen Folgen dieser Schocks.

Es ist immer schön zu sehen, wie ein wahrer Meister mit seinem Lieblingshandwerk beschäftigt ist, und Patterson ist wirklich ein Experte für Computerarchitektur und die Kräfte, die sie regieren. Er unterrichtete dieses Thema seit 1976 und war Co-Autor eines wahren Bestsellers , Computer Architecture. Quantitativer Ansatz “ mit Dr. John Hennessy. Das Buch hat kürzlich die sechste Ausgabe überlebt. Patterson war also eine Größenordnung größer als der von Malcolm Gladwell formulierte Meilenstein von 10.000 Stunden, um in jedem Fach die Meisterschaft zu erlangen. Und es ist sichtbar.

Patterson erregte 75 Minuten lang die Aufmerksamkeit des Publikums und teilte die Aufführung in vier Akte auf. Wie in Tom Stoppards absurdem Stück "Rosencrantz und der Guildenstern sind tot" scheint nichts in dieser Geschichte - überhaupt nichts - wie geplant zu verlaufen.


Dr. David Patterson von der IEEE Santa Clara Valley Section am 15. März 2018, bevor er ihm den ACM Turing Award 2017 verlieh. Quelle: Steve Leibson

Erster Akt: IBM System / 360, DEC VAX und CISC Prelude

In den 1950er und 1960er Jahren wurden großartige Experimente mit Befehlssatzarchitekturen (ISA) für Mainframes durchgeführt (zu dieser Zeit gab es praktisch keine Computer außer Mainframes). Fast jeder Mainframe hatte eine "neue und verbesserte" ISA. In den frühen 1960er Jahren hatte nur IBM vier Computerreihen herausgebracht: 650, 701, 702 und 1401, die für geschäftliche, wissenschaftliche und Echtzeitanwendungen entwickelt wurden. Alle von ihnen sind mit inkompatiblen Befehlssatzarchitekturen ausgestattet. Vier inkompatible ISAs bedeuteten, dass IBM vier völlig unabhängige Sätze von Peripheriegeräten (Bandlaufwerke, Festplatten / Drum-Laufwerke und Drucker) sowie vier Sätze von Softwareentwicklungstools (Assembler, Compiler, Betriebssysteme usw.) entwickelte und wartete. .

Die Situation schien eindeutig nicht stabil zu sein. Daher hat IBM groß gespielt. Sie beschloss, einen binär kompatiblen Befehlssatz für alle ihre Maschinen zu entwickeln. Ein geräteunabhängiger Befehlssatz für alles. Der Chefarchitekt Gene Amdahl und sein Team haben die System / 360-Architektur entwickelt, die im Bereich von kostengünstigen bis zu teuren Serien mit 8-, 16-, 32- und 64-Bit-Datenbussen implementiert werden kann.

Um die Entwicklung des Prozessors für IBM System / 360 zu vereinfachen, entschied sich das Entwicklungsteam, Mikrocode für die schwer zu entwerfende Steuerlogik zu verwenden. Maurice Wilkes erfand den Mikrocode 1951 und wurde 1958 erstmals für den EDSAC 2-Computer verwendet. In gewisser Weise war der Mikrocode bereits zu Beginn des System / 360-Projekts eine bewährte Technologie. Und er hat sich erneut bewährt.

Der Prozessor-Mikrocode spiegelte sich sofort im Mainframe-Design wider, insbesondere als Halbleiterspeicherchips das Moore'sche Gesetz sattelten. Das vielleicht beste Beispiel für die massive Verwendung von Mikrocode ist der 1977 eingeführte DEC VAX. VAX 11/780, ein innovativer Minicomputer auf Basis von TTL und Speicherchips, wurde bis zum Ende des Jahrhunderts zum Leistungsmaßstab.

Die DEC-Ingenieure haben ISA für VAX zu einer Zeit erstellt, als die Assembler-Programmierung vorherrschte, teils aufgrund der technischen Trägheit („das haben wir immer gemacht“), teils weil rudimentäre High-Level-Compiler zu dieser Zeit Maschinencode generierten, der durch handgeschriebene Prägnanz verloren ging Baugruppencode. Die VAX ISA-Anweisungen unterstützten eine Vielzahl programmiererfreundlicher Adressierungsmodi und enthielten separate Maschinenanweisungen, die komplexe Vorgänge ausführten, z. B. das Einfügen / Löschen einer Warteschlange und das Berechnen eines Polynoms. Die Ingenieure von VAX waren begeistert von der Entwicklung von Hardware, die Programmierern das Leben leichter machte. Der Mikrocode machte es einfach, der ISA neue Anweisungen hinzuzufügen - und die 99-Bit-VAX-Firmware-Steuerung wurde auf 4096 Wörter aufgeblasen.

Dieser Fokus auf die ständige Erweiterung der Anzahl von Anweisungen, um Assembler-Programmierern das Leben zu erleichtern, hat sich für VAX von DEC als echter Wettbewerbsvorteil erwiesen. Programmierer mochten Computer, die ihre Arbeit erleichtern. Für viele Computerhistoriker ist der VAX 11/780 die Geburtsstunde der CISC-Prozessorarchitektur (mit einem vollständigen Satz von Anweisungen).

Zweiter Akt: Zufälliger Erfolg und große Misserfolge

Der Minicomputer DEC VAX 11/780 erreichte seinen Höhepunkt, als der Mikroprozessorausleger begann. Fast alle der ersten Mikroprozessoren waren CISC-Maschinen, da die Entlastung des Programmiergeräts auch dann ein Wettbewerbsvorteil blieb, wenn der Computer auf einen einzigen Chip komprimiert wurde. Gordon Moore von Intel, der das Gesetz von Moore bei Fairchild geprägt hat, wurde beauftragt, die nächste ISA zu entwickeln, die die versehentlich beliebte ISA für den 8-Bit-Intel 8080/8085 (und Z80) ersetzen soll. Gordon Moore nahm einen Teil des äußerst erfolgreichen IBM System / 360-Projekts (ein ISA, um alles zu verwalten) und den anderen Teil der DEC-Reihe von CISC-Minicomputern von DEC und versuchte, eine universelle Befehlssatzarchitektur zu entwickeln - eine einzige Intel ISA, die bis zum Ende Bestand haben wird Jahrhunderte.

Zu dieser Zeit liefen 8-Bit-Mikroprozessoren in einem 16-Bit-Adressraum, und die neue Intel ISA-Befehlssatzarchitektur verfügte über einen 32-Bit-Adressraum und einen integrierten Speicherschutz. Sie unterstützte Anweisungen beliebiger Länge, die mit einem Bit beginnen. Und es wurde in der neuesten und besten Hochsprache programmiert: Ada.

Dieser ISA sollte Teil des Intel iAPX 432-Prozessors sein, und es war ein sehr großes, sehr ehrgeiziges Projekt für Intel.

Wenn Sie die Geschichte des „revolutionären“ iAPX 432 studieren, werden Sie feststellen, dass er in einem schrecklichen Misserfolg endete. Die für die IAPX 432-Architektur erforderliche Hardware ist äußerst komplex. Infolgedessen wurde der Chip mit großer Verzögerung freigegeben. (Es erforderte einen 6-jährigen Entwicklungszyklus und erschien erst 1981.) Und als der Mikroprozessor schließlich erschien, stellte sich heraus, dass er außergewöhnlich langsam war.

Zu Beginn des Projekts erkannte Moore, dass die Entwicklung eines iAPX 432 viel Zeit in Anspruch nehmen würde. 1976 startete er ein Parallelprojekt zur Entwicklung eines viel weniger ehrgeizigen 16-Bit-Mikroprozessors, der auf der Erweiterung des erfolgreichen 8-Bit-ISA von 8080 basiert und auf Quellenebene kompatibel ist Code. Die Entwickler hatten nur ein Jahr Zeit, um den Chip freizugeben, sodass sie nur drei Wochen Zeit hatten, um ISA zu entwickeln. Das Ergebnis war ein 8086-Prozessor und ein universeller ISA, zumindest für die nächsten Jahrzehnte.

Es gab nur ein Problem: Laut der Beschreibung der Insider von Intel war der 8086-Mikroprozessor sehr schwach.

Die Leistung des Intel 8086 blieb hinter der seiner engsten Konkurrenten zurück: dem eleganten Motorola 68000 (32-Bit-Prozessor in 16-Bit-Bekleidung) und dem 16-Bit-Zilog Z8000. Trotz der schlechten Leistung entschied sich IBM für Intel 8086 für sein IBM PC-Projekt, da Intel-Ingenieure in Israel die 8088-Variante entwickelten - es ist 8086 mit einem 8-Bit-Bus. Der 8088-Mikroprozessor arbeitete etwas langsamer als der 8086, aber sein 8-Bit-Bus schien besser mit vorhandenen Peripherie-Chips kompatibel zu sein und reduzierte die Kosten für die Herstellung eines PC-Motherboards.

Nach Prognosen von IBM war der Verkauf von rund 250.000 IBM PC-Computern geplant. Stattdessen lag der Umsatz über 100 Millionen, und der Intel 8088 war ein zufälliger, aber absoluter Hit.

Der dritte Akt: die Geburt von RISC, VLIW und der Untergang von "Itanika"

Unmittelbar nach dem Erscheinen der ersten kommerziellen Mikroprozessoren versuchte IBM John Kok 1974, einen Steuerprozessor für eine elektronische Telefonzentrale zu entwickeln. Er schätzt, dass der Steuerprozessor ungefähr 10 Millionen Anweisungen pro Sekunde (MIPS) ausführen muss, um die Anwendungsanforderungen zu erfüllen. Die Mikroprozessoren dieser Zeit waren um eine Größenordnung langsamer, und selbst der IBM System / 370-Mainframe war für diese Aufgabe nicht geeignet: Er erzeugte etwa 2 MIPS.

Daher entwickelte das Kok-Team im Rahmen des Projekts 801 eine radikal modernisierte Prozessorarchitektur mit einem Förderbus und einer schnellen Steuerschaltung ohne Mikrocode. Dies wurde ermöglicht, indem die Anzahl der Anweisungen auf ein Minimum reduziert wurde, um die Verwaltung zu vereinfachen. (Die Maschine wurde IBM 801 genannt, weil sie im 801-Gebäude des Thomas J. Watson IBM Research Center entwickelt wurde.) Zum ersten Mal implementierte IBM 801 die RISC-Architektur (reduzierter Befehlssatz).

Der Prototyp des Computers 801 wurde auf kleinen Chips von Motorola MECL 10K gebaut, die zusammen eine beispiellose Leistung von 15 MIPS ergaben und problemlos in die technischen Anforderungen passen. Da der verkürzte Befehlssatz für den Programmierer weniger praktisch ist als der CISC-Befehlssatz, musste das Coca-Team optimierende Compiler entwickeln. Sie übernahmen die zusätzliche Last, effizienten Maschinencode aus komplexen Algorithmen zu erstellen, die in Hochsprachen geschrieben sind.

Danach wurde Kok als "Vater von RISC" bekannt. IBM hat nie einen Telefonschalter herausgebracht, aber der 801-Prozessor hat sich weiterentwickelt und wurde schließlich zur Basis für die große Reihe von RISC-Prozessoren von IBM, die in seinen Mainframes und Servern weit verbreitet sind.

Später stellten mehrere Ingenieure bei DEC fest, dass etwa 20% der CISC-Anweisungen von VAX etwa 80% des Mikrocodes, aber nur 0,2% der gesamten Programmausführungszeit belegen. Solch eine Ausgabe! Angesichts der Ergebnisse des IBM 801-Projekts und der Ergebnisse der DEC-Ingenieure kann davon ausgegangen werden, dass die CISC-Architektur nicht so gut ist.

Die Annahme wurde bestätigt.

1984 veröffentlichte der Stanford-Professor John Hennessey einen wegweisenden Artikel im IEEE Transactions on Computers- Journal mit dem Titel „VLSI-Prozessorarchitektur“ , in dem er die Überlegenheit von Architekturen und ISA auf RISC für VLSI-Prozessorimplementierungen nachwies. Patterson fasste Hennesseys Beweis in seinem Vortrag zusammen: RISC ist per Definition schneller, da CISC-Maschinen sechsmal mehr Befehlszyklen erfordern als RISC-Maschinen. Obwohl die CISC-Maschine die Hälfte der Anweisungen für dieselbe Aufgabe ausführen muss, ist der RISC-Computer im Wesentlichen dreimal schneller als der CISC.

Daher führen x86-Prozessoren in modernen Computern scheinbar nur CISC-kompatible Softwareanweisungen aus. Sobald diese Anweisungen aus dem externen RAM in den Prozessor gelangen, werden sie sofort in einfachere "Mikrobefehle" (wie Intel RISC-Anweisungen nennt) zerlegt dann in die Warteschlange gestellt und in mehreren RISC-Pipelines ausgeführt. Die heutigen x86-Prozessoren sind schneller geworden und werden zu RISC-Maschinen.

Mehrere Entwickler von Prozessorarchitekturen haben beschlossen, ISA zu entwickeln, das viel besser als RISC oder CISC sein wird. Mit Hilfe von sehr langen Maschinenanweisungen (VLIW) ist es möglich geworden, viele parallele Operationen in eine große Maschinenanweisung zu packen. Architekten nannten diese Version von ISA VLIW (Very Long Instruction Word). VLIW-Maschinen leihen sich eines der Prinzipien des RISC-Betriebs aus und beauftragen den Compiler mit der Planung und Verpackung von Maschinencode-VLIW-Anweisungen, die aus Quellcode auf hoher Ebene generiert werden.

Intel entschied, dass die VLIW-Architektur sehr attraktiv aussieht - und begann mit der Entwicklung des VLIW-Prozessors, der seine Anwendung für den Einstieg in die unvermeidliche Welt der 64-Bit-Prozessoren sein wird. Intel nannte seinen VLIW ISA IA-64. Wie üblich hat Intel eine eigene Nomenklatur und Namen für vertraute Begriffe entwickelt. In Intel Jargon hat sich VLIW zu EPIC (Explicitly Parallel Instruction Computing) entwickelt. Die EPIC-Architektur sollte nicht auf dem x86-Befehlssatz basieren, um zu verhindern, dass AMD kopiert.

Später entschieden die HP PA-RISC-Ingenieure auch, dass das Entwicklungspotential von RISC fast ausgeschöpft war - und sie wurden auch mit VLIW infiziert. 1994 entwickelte HP gemeinsam mit Intel eine gemeinsame 64-Bit-VLIW / EPIC-Architektur. Das Ergebnis heißt Itanium. Das Ziel wurde angekündigt, 1998 den ersten Itanium-Prozessor auf den Markt zu bringen.

Es wurde jedoch schnell klar, dass es schwierig sein würde, VLIW-Prozessoren und -Compiler zu entwickeln. Intel gab den Namen Itanium erst 1999 bekannt (der Witz im Usenet nannte den Prozessor sofort „Itanik“), und der erste funktionierende Prozessor wurde erst 2001 veröffentlicht. Der Itanic ertrank 2017 sicher, als Intel den Abschluss der Arbeiten am IA-64 bekannt gab. (Siehe „Intel hat Itanium versenkt: das vielleicht teuerste Projekt für fehlerhafte Prozessoren der Welt.“ )

Die EPIC-Architektur ist ebenfalls zu einem epischen Fehler geworden - eine Mikroprozessorversion von JJ Jinx aus Star Wars. Obwohl es zu einer Zeit eine gute Idee schien.

Itanium-, EPIC- und VLIW-Prozessoren sind aus mehreren Gründen gestorben, sagt Patterson:

• Unvorhersehbare Verzweigungen, die das Planen und Packen von Paralleloperationen in VLIW-Befehlswörter erschweren.
• Unvorhersehbare Cache-Fehler verlangsamten die Ausführung und führten zu variablen Ausführungsverzögerungen.
• VLIW-Befehlssätze haben die Codemenge aufgeblasen.
• Es stellte sich als zu schwierig heraus, gute Optimierungscompiler für VLIW-Maschinen zu erstellen.

Der vielleicht weltweit bekannteste Spezialist für Computeralgorithmen, Donald Knuth, bemerkte: "Der Itanium-Ansatz ... schien so großartig - bis sich herausstellte, dass die gewünschten Compiler im Wesentlichen unmöglich zu schreiben waren."

Compiler scheinen mit einfachen Architekturen wie RISC besser abzuschneiden.

VLIW-Architekturen stellten keine universellen Mikroprozessoren her. Aber später fanden sie immer noch ihre Berufung, die uns zum vierten Akt des Stücks führt.

Vierter Akt: Dennards Skalierungsgesetz und Moores Gesetz sind tot, aber DSA, TPU und Open RISC-V leben

In Tom Stoppards Stück sind Rosencrantz und der Guildenstern tot. Zwei unbedeutende Charaktere aus Shakespeares Hamlet verstehen am Ende des letzten Aktes endlich, dass sie während des gesamten Stücks tot waren. Im letzten Akt der Prozessorgeschichte starb Patterson an Dennards Skalierungsgesetz und Moores Gesetz. Hier ist eine Zeichnung aus der neuesten Ausgabe von Hennesseys und Pattersons Buch, die die ganze Geschichte grafisch zeigt:


Quelle: John Hennessey und David Patterson, „Computer Architecture. Der quantitative Ansatz “, 6. Aufl. 2018

Die Grafik zeigt, dass RISC-Mikroprozessoren von 1986 bis 2004 ein fast zwanzigjähriges schnelles Produktivitätswachstum ermöglichten, da sie sich nach dem Moore-Gesetz (doppelt so viele Transistoren in jeder neuen Runde der Prozesstechnologie) und dem Dennard-Skalierungsgesetz (Verdoppelung der Geschwindigkeit durch Verdoppelung des Stromverbrauchs pro Transistor um) entwickelten jeder neue Zweig der Prozesstechnologie). Dann starb Dennards Skalierungsgesetz - und einzelne Prozessoren hörten auf zu beschleunigen. Der Energieverbrauch des Transistors hörte ebenfalls auf, sich in jeder Stufe zu halbieren.

Die Industrie kompensierte dies, indem sie sich ausschließlich auf das Gesetz von Moore stützte, um die Anzahl der Transistoren zu verdoppeln - und die Anzahl der Prozessoren auf einem Chip schnell zu erhöhen, was in eine Multi-Core-Ära eintrat. Das Produktivitätsverdopplungsintervall stieg von 1,5 auf 3,5 Jahre in dieser Zeit, die weniger als zehn Jahre dauerte, bevor Amdahls Gesetz in Kraft trat (umformuliert als „Parallelität wird in jeder Anwendung nur begrenzt genutzt“). Nur wenige Anwendungen können Dutzende von Prozessoren vollständig laden.

Dann verstarb auch Moores Gesetz.

Laut Patterson ist das Ergebnis so, dass das Wachstum der Prozessorleistung seit 2015 auf vernachlässigbare 3% pro Jahr gesunken ist. Moores Gesetzesverdopplung tritt nun in 1,5 und nicht einmal in 3,5 Jahren auf. Jetzt ist es zwanzig Jahre alt .

Ende des Spiels? "Nein", sagt Patterson. In der Prozessorarchitektur können Sie einige interessantere Dinge ausprobieren.

Ein Beispiel: Domain Specific Architectures (DSAs) sind speziell entwickelte Prozessoren, die versuchen, die Ausführung einer kleinen Anzahl von Aufgaben für bestimmte Anwendungen zu beschleunigen. VLIW-Architekturen sind nicht für Universalprozessoren geeignet, aber für DSP-Anwendungen mit viel weniger Verzweigungen sinnvoll. Ein weiteres Beispiel: Google TPU (Tensor Processing Unit), das die Ausführung von DNN (Deep Neural Network) mithilfe eines Blocks von 65.536 Einheiten Multiplikationsaddition (MAC) auf einem einzelnen Chip beschleunigt.

Es stellt sich heraus, dass Matrix-Computing mit reduzierter Genauigkeit der Schlüssel zur Realisierung wirklich schneller DNNs ist. 65.536 Acht-Bit-MAC-Blöcke in Google TPUs arbeiten mit 700 MHz und bieten eine Leistung von 92 TOPS (Teraoperationen pro Sekunde). Dies ist ungefähr 30 Mal schneller als die Server-CPU und 15 Mal schneller als die GPU.Multiplizieren Sie den Stromverbrauch einer 28-Nanometer-TPU im Vergleich zu einer Server-CPU oder -GPU mit der Hälfte - und erhalten Sie einen 60- bzw. 30-fachen Energie- / Leistungsvorteil.

Durch einen seltsamen Zufall trat Professor David Patterson kürzlich von der University of California in Berkeley zurück, nachdem er dort 40 Jahre lang unterrichtet und gearbeitet hatte. Derzeit ist er als "Emeritus Engineer" bei Google für das TPU-Entwicklungsprojekt tätig.

Eine weitere interessante Sache ist die Erstellung von Open-Source-ISA-Architekturen, sagt Patterson. Frühere derartige Versuche, einschließlich OpenRISC und OpenSPARC , liefen nicht an, aber Patterson sprach von einer völlig neuen Open-Source-ISA - dies ist RISC-Vwas er in Berkeley mitentwickelte. Schauen Sie sich den SoC an, sagt Patterson, und Sie werden viele Prozessoren mit unterschiedlichen ISAs sehen. "Warum?" Er stellt eine Frage.

Warum brauchen wir eine universelle ISA, eine weitere ISA für die Bildverarbeitung sowie eine ISA für die Videoverarbeitung, für die Audioverarbeitung und einen ISA-DSP auf einem einzigen Chip? Warum nicht einfach einen oder mehrere einfache ISAs (und einen Satz von Softwareentwicklungstools) erstellen, die für bestimmte Anwendungen wiederverwendet werden können? Warum nicht ISA Open Source machen, damit jeder diese Architektur kostenlos nutzen und verbessern kann? Pattersons einzige Antwort auf diese Fragen ist die RISC-V ISA.

Kürzlich gegründete RISC-V Foundationähnlich im Konzept wie die erfolgreiche Linux Foundation. Es waren bereits mehr als 100 Unternehmen beteiligt, und er übernahm die Standardisierung des RISC-V ISA. Die Aufgabe des Fonds besteht darin, zur Umsetzung von RISC-V ISA und seiner künftigen Entwicklung beizutragen. Zufälligerweise ist Dr. David Patterson, „im Ruhestand“, der stellvertretende Vorsitzende der RISC-V-Stiftung.

Wie Rosencrantz und Guildenstern enden Dennards Skalierungsgesetz und Moores Gesetz am Ende von Pattersons historischem Spiel, aber interessante Ereignisse in der Computerarchitektur stehen erst am Anfang.

"Es gibt nichts überzeugenderes als den nicht überzeugenden Tod", heißt es in dem Stück.

Epilog: Am 21. März, nur eine Woche nach dem Vortrag bei IEEE, würdigte die Computing Technology Association (ACM) den Beitrag von Patterson und Hennessey zur Computerarchitektur, indem sie ihnen den ACM Turing Award 2017 für einen innovativen, systematischen und rechnergestützten Ansatz zum Entwerfen und Bewerten von Computerarchitekturen verlieh dauerhafte Auswirkungen auf die Mikroprozessorindustrie. “