Der Papagei ist gelandet. Die Ankündigung des Buches "Generatives Deep Learning"

Hallo Kollegen!

Wir freuen uns, Ihnen mitteilen zu können, dass unsere Veröffentlichungspläne für Anfang nächsten Jahres ein ausgezeichnetes neues Buch über generatives tiefes Lernen von David Foster enthalten



Der Autor, der diese Arbeit nicht weniger mit der Landung von Apollo auf dem Mond vergleicht, veröffentlichte auf Medium eine detaillierte Rezension seines Meisterwerks, die wir als realitätsnahen Teaser betrachten möchten.

Viel Spaß beim Lesen, folgen Sie der Ankündigung!

Meine 459-tägige Reise vom Blog zum Buch und zurück

20:17 UTC, 20. Juli 2019

50 Jahre zuvor, Minute für Minute - das Eagle-Modul wurde von Neil Armstrong und Buzz Aldrin pilotiert. Es war die höchste Manifestation von Technik, Mut und echter Entschlossenheit.

50 Jahre schneller Vorlauf - und stellen Sie fest, dass die gesamte Rechenleistung des Onboard-Steuercomputers (AGC) des Apollo-Raumfahrzeugs , der diese Personen zum Mond gebracht hat, jetzt viele Male in Ihre Tasche passt. Tatsächlich würde die Rechenleistung des iPhone 6 gleichzeitig 120 Millionen Raumschiffe wie Apollo 11 zum Mond bringen.

Diese Tatsache beeinträchtigt in keiner Weise die Größe der AGC. Nach dem Gesetz von Moore können Sie jedes Computergerät nehmen und sich nicht irren. In 50 Jahren wird es eine Maschine geben, die 2²⁵ mal schneller arbeiten kann.

Margaret Hamilton, die Leiterin des Programmierteams, das den Code für AGC schrieb, betrachtete die Hardwarebeschränkungen der damaligen Computer nicht als Hindernis, sondern als Herausforderung. Sie nutzte alle ihr zur Verfügung stehenden Ressourcen, um das Undenkbare zu erreichen.



Margaret Hamilton und Code für die AGC (Quelle: Science History Images)

Und jetzt möchte ich Ihnen erzählen von ...

Das Buch "Generatives Deep Learning"

Vor 459 Tagen erhielt ich einen Brief von O'Reilly Media, in dem ich gefragt wurde, wie interessant es wäre, ein Buch zu schreiben. Ich mochte diese Idee damals, also stimmte ich zu und beschloss, den aktuellsten Leitfaden für generative Modellierung oder vielmehr ein praktisches Buch zu schreiben, in dem Sie erfahren, wie Sie altehrwürdige Deep-Learning-Modelle erstellen, mit denen Sie zeichnen, Texte schreiben, Musik komponieren und spielen können .

Am wichtigsten ist, dass der Leser nach dem Lesen dieses Buches das generative Deep Learning im Detail versteht und versucht, Modelle zu erstellen, die wirklich erstaunliche Dinge sind. Darüber hinaus erfordern diese Modelle keine großen und teuren Rechenressourcen, die immer noch recht langsam arbeiten.
Ich bin zutiefst davon überzeugt: Um ein technisches Thema zu erlernen, müssen Sie zunächst kleine Probleme lösen, diese jedoch so detailliert verstehen, dass Sie die Gründe für alle Codezeilen in einer einzigen verstehen.
Wenn Sie mit riesigen Datenmengen und solchen Modellen beginnen, deren Ausführung jeweils einen ganzen Tag und keine Stunde dauert, lernen Sie nichts über das Minimum hinaus - verbringen Sie einfach 24-mal mehr Zeit mit dem Training.

Das Wichtigste, was uns Apollos Landung auf dem Mond beigebracht hat, ist, dass Sie mit sehr bescheidenen Rechenressourcen absolut erstaunliche Ergebnisse erzielen können. Genau den gleichen Eindruck, den Sie von der generativen Modellierung haben werden, nachdem Sie mein Buch gelesen haben.

Was ist los mit dem Papagei?

Das Schreiben für O'Reilly ist umso angenehmer, als sie animalische Illustrationen für das Cover Ihres Buches auswählen. Ich bekam einen blauköpfigen Rotschwanzpapagei, den ich Neil Wingstrong in einem Anfall von Gefühlen taufte.



Neil Wingstrong stammt aus der Familie Parrot.

Der Papagei ist also gelandet. Was ist von dem Buch zu erwarten?

Worum geht es in diesem Buch?

Dieses Buch ist eine angewandte Anleitung zur generativen Modellierung.

Es enthält alle grundlegenden Dinge, die beim Aufbau der einfachsten generativen Modelle helfen. Dann wird das Material für komplexere Modelle schrittweise komplexer. Alle Abschnitte werden von praktischen Beispielen, Architekturdiagrammen und Code begleitet.
Dieses Buch richtet sich an alle, die den bevorstehenden Hype um generative Modellierung besser verstehen möchten. Das Lesen eines Buches erfordert kein tiefes Lernwissen. Alle Codebeispiele sind in Python angegeben.

Was wird in dem Buch berücksichtigt?

Ich habe versucht, alle wichtigen Entwicklungen im Bereich der generativen Modellierung in den letzten 5 Jahren in dem Buch zu behandeln. Es stellt sich eine solche Skala heraus.



Das Buch ist in zwei Teile gegliedert. Nachfolgend finden Sie eine kurze Übersicht über die Kapitel:

Teil 1: Einführung in generatives Deep Learning

Der Zweck der ersten vier Kapitel des Buches besteht darin, Ihnen die wichtigsten Techniken vorzustellen, die Sie benötigen, um mit dem Aufbau der generativen Modelle des tiefen Lernens zu beginnen.

1. Generative Modellierung

In einem breiten Kontext werden wir die Disziplin der generativen Modellierung und die Art der Aufgaben betrachten, die wir mit einem probabilistischen Ansatz zu lösen versuchen. Anschließend untersuchen wir unser erstes Beispiel des einfachsten probabilistischen probabilistischen generativen Modells und analysieren, warum es im Falle einer Komplikation der generativen Aufgabe erforderlich sein kann, auf Deep-Learning-Methoden zurückzugreifen.

2. Tiefes Lernen

Dieses Kapitel hilft Ihnen bei der Navigation durch die Deep-Learning-Tools und -Techniken, die Sie benötigen, um komplexere generative Modelle zu erstellen. Hier treffen Sie Keras , ein Framework zum Aufbau neuronaler Netze, das zum Entwerfen und Trainieren einiger der in der Literatur diskutierten hochmodernen tiefen neuronalen Netzarchitekturen hilfreich sein kann.

3. Variation Auto Encoder

In diesem Kapitel werden wir unser erstes Modell für generatives Deep Learning betrachten - den Variations-Auto-Encoder. Dieser leistungsstarke Ansatz hilft uns dabei, realistische Gesichter von Grund auf neu zu erstellen und vorhandene Bilder zu ändern. Fügen Sie beispielsweise unseren Gesichtern ein Lächeln hinzu oder ändern Sie unsere Haarfarbe.

4. Generative Contention Networks (GAN)

In diesem Kapitel wird eine der erfolgreichsten Varianten der generativen Modellierung erörtert, die in den letzten Jahren entstanden ist - das generativ-wettbewerbsfähige Netzwerk. Basierend auf diesem schönen Rahmen für die Strukturierung der Aufgaben der generativen Modellierung werden viele der fortschrittlichsten generativen Modelle erstellt. Wir werden überlegen, wie es fein abgestimmt werden kann und warum es uns ermöglicht, die Grenzen dessen, was durch generative Modellierung erreichbar ist, ständig zu erweitern.

Teil 2: Wir bringen Maschinen das Zeichnen, Schreiben, Komponieren und Spielen bei

Teil 2 enthält Fälle, die Ihnen helfen zu verstehen, wie generative Modellierungstechniken zur Lösung spezifischer Probleme verwendet werden können.

5. Zeichnen

In diesem Kapitel werden zwei Techniken im Zusammenhang mit dem maschinellen Zeichnen erläutert. Zunächst werden wir das neuronale Netzwerk CycleGAN diskutieren, das, wie der Name schon sagt, eine Anpassung der GAN-Architektur darstellt, mit der das Modell lernen kann, wie ein Foto in ein Gemälde konvertiert wird, das in einem bestimmten Stil geschrieben wurde (oder umgekehrt). Wir werden auch über die neuronale Übertragungstechnik sprechen, die in viele mobile Fotobearbeitungsanwendungen integriert ist und dabei hilft, den Bildstil auf das Foto zu übertragen, um den Eindruck zu erwecken, dass dieses Foto nur ein weiteres Gemälde desselben Künstlers ist.

6. Texte schreiben

In diesem Kapitel wenden wir uns maschinell geschriebenen Texten zu. In diesem Themenbereich muss man sich anderen Herausforderungen stellen als beim Generieren von Bildern. Hier erfahren Sie mehr über wiederkehrende neuronale Netze (RNN) - eine Architektur, die zur Lösung von Problemen im Zusammenhang mit seriellen Daten geeignet ist. Wir werden auch diskutieren, wie die Architektur des Encoder-Decoders funktioniert, und den Frage- und Antwortgenerator selbst schreiben.

7. Musik komponieren

Dieses Kapitel ist der Musikgenerierung gewidmet, und diese Aufgabe bezieht sich auch auf die serielle Datengenerierung. Im Gegensatz zum Schreiben von Texten gibt es in diesem Fall jedoch zusätzliche Schwierigkeiten - zum Beispiel die Modellierung von musikalischem Timbre und Rhythmus. Wir werden sicherstellen, dass viele der zur Erstellung des Textes verwendeten Techniken in diesem Themenbereich anwendbar sind, und die Deep-Learning-Architektur namens MuseGAN untersuchen, die die Ideen aus Kapitel 4 (über GAN) an Musikdaten anpasst.

8. Das Spiel

In diesem Kapitel wird beschrieben, wie generative Modelle mit anderen Bereichen des maschinellen Lernens kompatibel sind, einschließlich verstärktem Lernen. Wir werden einen der interessantesten wissenschaftlichen Artikel diskutieren, der kürzlich veröffentlicht wurde und "World Models" (Modelle der Welt) heißt. Die Autoren dieses Artikels zeigen, wie das generative Modell als eine Umgebung verwendet werden kann, in der der Agent geschult wird, sodass der Agent mögliche Szenarien der Zukunft „ausdenken“ und sich vorstellen kann, was passieren wird, wenn bestimmte Maßnahmen ergriffen werden, und dies alles vollständig im Kontext unseres Konzepts Umweltmodelle.

9. Die Zukunft der generativen Modellierung

Hier fassen wir die aktuelle technologische Landschaft der generativen Modellierung zusammen und blicken zurück, wobei wir uns an einige der in diesem Buch vorgestellten Techniken erinnern. Wir werden auch darüber sprechen, wie die modernsten heute verfügbaren neuronalen Netzwerkarchitekturen, beispielsweise GPT-2 und BigGAN, unsere Vorstellungen von kreativen Aktivitäten ändern können. Ich frage mich, ob es jemals möglich sein wird, ein künstliches System zu schaffen, das Werke hervorbringen könnte, die nicht von Proben menschlicher visueller Kunst, Literatur und Musik zu unterscheiden sind.

10. Schlussfolgerung

Abschließende Überlegungen, warum sich generatives Deep Learning in den nächsten 5 bis 10 Jahren als einer der wichtigsten Technologiebereiche für Deep Learning herausstellen könnte.

Zusammenfassung

In einer Welt, in der es immer schwieriger wird, Realität von Fiktion zu unterscheiden, wird die Arbeit von Ingenieuren, die die Prinzipien der Arbeit generativer Modelle im Detail verstehen und keine Angst vor möglichen technologischen Einschränkungen haben, von entscheidender Bedeutung.

Ich hoffe, mein Buch hilft Ihnen dabei, die ersten Schritte zum Verständnis dieser neuesten Technologien zu unternehmen, und wird auch für Sie zu einer interessanten und unterhaltsamen Lektüre.