Bonjour collègues!
Nous sommes heureux d'annoncer que nos plans de publication pour le début de l'année prochaine incluent un excellent nouveau livre Generative Deep Learning par David Foster
L'auteur, comparant ce travail non moins à l'atterrissage d'Apollon sur la lune, a publié sur Medium une revue détaillée de son chef-d'œuvre, que nous proposons d'envisager un teaser proche de la réalité.
Bonne lecture, suivez l'annonce!
Mon voyage de 459 jours du blog au livre et retour
20:17 UTC, 20 juillet 201950 ans plus tôt, minute par minute - le module Eagle était piloté, piloté par Neil Armstrong et Buzz Aldrin. C'était la plus haute manifestation d'ingénierie, de courage et de véritable détermination.
Avance rapide de 50 ans - et découvrez que toute la puissance de traitement de l'
ordinateur de contrôle embarqué (AGC) du
vaisseau spatial Apollo , qui a livré ces personnes sur la lune, tient maintenant dans votre poche plusieurs fois. En fait, la puissance de calcul de l'iPhone 6 apporterait simultanément à la lune 120 millions de vaisseaux spatiaux comme Apollo 11.
Ce fait ne diminue en rien la grandeur de l'AGC. Compte tenu de la loi de Moore, vous pouvez prendre n'importe quel appareil informatique et ne pas vous tromper, en disant que dans 50 ans, il y aura une machine qui pourra fonctionner 2²⁵ fois plus vite.
Margaret Hamilton, la tête de l'équipe de programmeurs qui a écrit le code pour AGC, considérait les limitations matérielles des ordinateurs de l'époque non pas comme un obstacle, mais comme un défi. Elle a utilisé toutes les ressources à sa disposition pour accomplir l'impensable.
Margaret Hamilton et code pour l'AGC (source: Science History Images)
Et maintenant, je veux vous parler de ...
Le livre "Apprentissage profond génératif"Il y a 459 jours, j'ai reçu une lettre d'O'Reilly Media me demandant à quel point il serait intéressant d'écrire un livre. J'ai alors aimé cette idée, alors j'ai accepté et j'ai décidé d'écrire le guide le plus récent de la modélisation générative, ou plutôt, un livre pratique qui vous dirait comment créer des modèles d'apprentissage approfondi qui peuvent dessiner, écrire des textes, composer de la musique et jouer. .
Plus important encore, j'aimerais, après avoir lu ce livre, que le lecteur comprenne en détail l'apprentissage profond génératif et essaie de créer des modèles qui sont vraiment des choses incroyables; De plus, ces modèles ne nécessitent pas de ressources informatiques énormes et coûteuses, qui fonctionnent encore assez lentement.
Je suis profondément convaincu: pour apprendre n'importe quel sujet technique, vous devez commencer par résoudre de petits problèmes, mais les comprendre de manière si détaillée que vous comprenez la raison d'être de toutes les lignes de code.
Si vous commencez avec d'énormes ensembles de données et avec de tels modèles, dont chacun prend une journée entière et non une heure, alors n'apprenez rien au-delà du minimum - passez simplement 24 fois plus de temps à vous entraîner.
La chose la plus importante que l'atterrissage d'Apollo sur la Lune nous a appris est que vous pouvez obtenir des résultats absolument incroyables avec des ressources informatiques très modestes. Exactement la même impression que vous aurez sur la modélisation générative après avoir lu mon livre.
Quel est le problème avec le perroquet?Écrire pour O'Reilly est d'autant plus agréable qu'ils sélectionnent des illustrations animalières pour la couverture de votre livre. J'ai eu un perroquet à queue bleue à tête bleue, que j'ai baptisé Neil Wingstrong dans une crise de sentiments.
Neil Wingstrong est de la famille Parrot.
Ainsi, le perroquet a atterri. Que faut-il attendre du livre?
De quoi parle ce livre?Ce livre est un guide appliqué à la modélisation générative.
Il expose toutes les choses de base qui aident à construire les modèles génératifs les plus simples. Ensuite, le matériau devient progressivement plus complexe à des modèles plus avancés, étape par étape. Toutes les sections sont accompagnées d'exemples pratiques, de diagrammes architecturaux et de code.
Ce livre s'adresse à tous ceux qui veulent mieux comprendre le battage médiatique à venir sur la modélisation générative. La lecture d'un livre ne nécessite pas de connaissances approfondies, tous les exemples de code sont donnés en Python.
Qu'est-ce qui est considéré dans le livre?J'ai essayé de couvrir dans le livre tous les développements clés dans le domaine de la modélisation générative au cours des 5 dernières années. Il s'avère une telle échelle.
Le livre est divisé en deux parties, un bref aperçu des chapitres est donné ci-dessous:
Partie 1: Introduction à l'apprentissage profond génératifLe but des quatre premiers chapitres du livre est de vous présenter les techniques clés dont vous aurez besoin pour commencer à construire des modèles génératifs d'apprentissage en profondeur.
1. Modélisation générativeDans un contexte large, nous considérerons la discipline de la modélisation générative et le type de tâches que nous essayons de résoudre en utilisant une approche probabiliste. Ensuite, nous examinons notre premier exemple du modèle génératif probabiliste probabiliste le plus simple et analysons pourquoi il peut être nécessaire de recourir à des méthodes d'apprentissage approfondi en cas de complication de la tâche générative.
2. Apprentissage en profondeurCe chapitre vous aidera à naviguer dans les outils et techniques d'apprentissage en profondeur dont vous avez besoin pour commencer à créer des modèles génératifs plus complexes. Ici, vous rencontrerez
Keras , un cadre pour la construction de réseaux de neurones, qui peut être utile pour concevoir et former certaines des architectures de réseaux de neurones profonds ultra-modernes discutées dans la littérature.
3. Encodeurs automatiques de variationDans ce chapitre, nous examinerons notre premier modèle d'apprentissage profond génératif - l'encodeur automatique variationnel. Cette approche puissante nous aidera à générer des visages réalistes à partir de zéro et à changer les images existantes - par exemple, ajouter un sourire à nos visages ou changer la couleur de nos cheveux.
4. Réseaux générateurs de conflits (GAN)Ce chapitre examine l'une des variétés les plus réussies de modélisation générative qui a émergé ces dernières années - le réseau génératif-compétitif. Sur la base de ce magnifique cadre pour structurer les tâches de modélisation générative, de nombreux modèles génératifs les plus avancés sont construits. Nous examinerons comment elle peut être affinée et pourquoi elle nous permet d'élargir constamment les limites de ce qui est réalisable au moyen de la modélisation générative.
Partie 2: Nous enseignons aux machines à dessiner, écrire, composer de la musique et jouerLa partie 2 présente des cas qui vous aident à comprendre comment les techniques de modélisation générative peuvent être utilisées pour résoudre des problèmes spécifiques.
5. DessinCe chapitre traite de deux techniques liées au dessin à la machine. Tout d'abord, nous discuterons du réseau neuronal CycleGAN, qui, comme son nom l'indique, est une adaptation de l'architecture GAN, qui permet au modèle d'apprendre à convertir une photo en une peinture écrite dans un certain style (ou vice versa). Nous parlerons également de la technique de transfert neuronal intégrée dans de nombreuses applications de retouche photo mobile qui aide à transférer le style de l'image sur la photo afin de donner l'impression que cette photo n'est qu'une autre des peintures du même artiste.
6. Rédaction de textesDans ce chapitre, nous nous tournons vers des textes écrits à la machine; dans ce domaine, il faut faire face à d'autres défis que lors de la génération d'images. Ici, vous découvrirez les réseaux de neurones récurrents (RNN) - une architecture qui est pratique pour résoudre les problèmes associés aux données série. Nous discuterons également de la façon dont l'architecture de l'encodeur-décodeur est arrangée et rédigerons nous-mêmes le générateur de questions et réponses.
7. Composer de la musiqueCe chapitre est consacré à la génération de musique, et cette tâche est également liée à la génération de données série. Mais, contrairement à l'écriture de textes, dans ce cas, il y a des difficultés supplémentaires - par exemple, la modélisation du timbre et du rythme musical. Nous nous assurerons que de nombreuses techniques utilisées pour générer le texte sont applicables dans ce domaine, ainsi que d'explorer l'architecture d'apprentissage en profondeur appelée MuseGAN, qui adapte les idées du chapitre 4 (sur GAN) aux données musicales.
8. Le jeuCe chapitre décrit comment les modèles génératifs sont compatibles avec d'autres domaines de l'apprentissage automatique, y compris l'apprentissage renforcé. Nous discuterons de l'un des articles scientifiques les plus intéressants publiés récemment, qui s'appelle «Modèles mondiaux» (Modèles du monde). Les auteurs de cet article montrent comment le modèle génératif peut être utilisé comme un environnement dans lequel l'agent est formé, permettant en fait à l'agent de «penser» des scénarios possibles du futur et d'imaginer ce qui se passera si certaines actions sont prises, et tout cela est complètement dans le contexte de notre conceptuel modèles environnementaux.
9. L'avenir de la modélisation générativeNous résumons ici le paysage technologique actuel de la modélisation générative et regardons en arrière, en rappelant certaines des techniques présentées dans ce livre. Nous parlerons également de la façon dont les architectures de réseaux de neurones les plus modernes disponibles aujourd'hui, par exemple, GPT-2 et BigGAN, peuvent changer nos idées sur l'activité créative. Je me demande s'il sera jamais possible de créer un système artificiel qui pourrait générer des œuvres indiscernables à partir d'échantillons d'art visuel humain, de littérature et de musique.
10. ConclusionRéflexions finales sur les raisons pour lesquelles l'apprentissage approfondi génératif pourrait se révéler l'un des domaines technologiques les plus importants de l'apprentissage profond au cours des 5 à 10 prochaines années.
RésuméDans un monde où il devient de plus en plus difficile de distinguer la réalité de la fiction, le travail d'ingénieurs qui comprennent en détail les principes du travail des modèles génératifs et n'ont pas peur d'éventuelles limitations technologiques devient d'une importance vitale.
J'espère que mon livre vous aidera à faire les premiers pas vers la compréhension de ces dernières technologies, et deviendra également une lecture intéressante et agréable pour vous.