鹦鹉降落了。 宣布“生成式深度学习”书

大家好!

我们很高兴地宣布,我们将于明年年初发布的计划包括David Foster撰写的一本优秀的Generative Deep Learning新书



作者将这项工作与阿波罗登月相提并论,并在《媒介》上发表了对他杰作的详细评论,我们建议考虑将其逼近现实。

享受阅读,关注公告!

我从博客到书籍往返的459天旅程

UTC,2019年7月20日20:17

50年前,每分钟一分钟-Eagle模块是由Neil Armstrong和Buzz Aldrin驾驶的。 这是工程,勇气和坚定决心的最高体现。

快进50年-发现将这些人送入月球的阿波罗飞船机载控制计算机 (AGC)的全部处理能力现在已经可以装在您的口袋中很多次了。 实际上,iPhone 6的计算能力将同时使1.2亿个阿波罗11号飞船登上月球。

这一事实丝毫不减损AGC的强大性。 根据摩尔定律,您可以随身携带任何计算机设备,并且可以说,在50年内,将有一台机器的运行速度提高2²倍。

为AGC编写代码的程序员团队的负责人玛格丽特·汉密尔顿(Margaret Hamilton)认为,当时计算机的硬件限制不是障碍,而是挑战。 她利用所有可用的资源来完成不可思议的事情。



玛格丽特·汉密尔顿(Margaret Hamilton)和AGC的代码(来源:《科学历史图片》)

现在,我想告诉您有关...

《生成式深度学习》一书

459天前,我收到O'Reilly Media的来信,问我写一本书有多有趣。 那时我很喜欢这个想法,所以我同意并决定编写有关生成建模的最新指南,或者是一本实用的书,该书将告诉您如何创建具有悠久历史的深度学习模型,该模型可以绘制,编写文本,创作音乐和演奏。

最重要的是,我希望在阅读本书之后,读者能够详细地理解生成式深度学习,并尝试创建真正令人惊奇的模型。 而且,这些模型不需要庞大而昂贵的计算资源,而计算资源仍然运行缓慢。
我深信不疑:为了学习任何技术主题,您都需要从解决小问题入手,但是要对它们如此详细地理解,以至于您理解了将所有代码行合并为一条代码的原理。
如果您从庞大的数据集和此类模型开始,每个模型需要一整天而不是一个小时的时间来运行,那么不要学习超出最低限度的任何知识-只需花24倍的时间进行培训。

阿波罗号登上月球给我们的最重要的事情是,只要使用非常有限的计算资源,您就可以取得绝对惊人的结果。 阅读我的书后,您对生成建模的印象完全相同。

鹦鹉怎么了?

为O'Reilly写作更令人愉快,因为他们选择了动物插图作为本书的封面。 我得到了一只蓝头的红尾鹦鹉,我把它命名为尼尔·温斯特朗(Neil Wingstrong)。



Neil Wingstrong来自鹦鹉家族。

因此,鹦鹉降落了。 这本书应该有什么期望?

这本书是关于什么的?

本书是生成建模的实用指南。

它列出了有助于构建最简单的生成模型的所有基本内容。 然后,材料将逐步变得更复杂,成为更高级的模型。 所有部分均附有实用示例,体系结构图和代码。
本书适合所有希望更好地了解即将发生的有关生成建模的炒作的人。 读书不需要深度学习知识,所有代码示例均以Python给出。

书中考虑了什么?

我试图在书中涵盖过去5年中生成建模领域中的所有关键发展。 事实证明,这样的规模。



本书分为两部分,以下是各章的简要概述:

第1部分:生成式深度学习简介

本书前四章的目的是向您介绍开始构建深度学习生成模型所需的关键技术。

1.生成建模

在广泛的背景下,我们将考虑生成建模的学科以及我们尝试使用概率方法解决的任务类型。 然后,我们研究最简单的概率概率生成模型的第一个示例,并分析为什么在生成任务复杂的情况下可能有必要诉诸深度学习方法。

2.深度学习

本章将帮助您浏览开始创建更复杂的生成模型所需的深度学习工具和技术。 在这里,您将遇到Keras (一个用于构建神经网络的框架),该框架对于设计和培训文献中讨论的一些超现代深度神经网络体系结构很有用。

3.变体自动编码器

在本章中,我们将研究生成深度学习的第一个模型-变分自动编码器。 这种强大的方法将帮助我们从头开始生成逼真的面孔并更改现有图像-例如,为我们的面孔添加微笑或更改头发颜色。

4.生成竞争网络(GAN)

本章讨论了近年来出现的最成功的生成建模方法之一-生成竞争网络。 基于用于构建生成建模任务的漂亮框架,构建了许多最高级的生成模型。 我们将考虑如何对其进行微调,以及为什么它使我们能够不断扩展通过生成模型可实现的范围。

第2部分:我们教机器绘画,写作,创作音乐和演奏

第2部分介绍了一些案例,可以帮助您了解如何使用生成建模技术来解决特定问题。

5.绘图

本章讨论与机器绘图有关的两种技术。 首先,我们将讨论神经网络CycleGAN,顾名思义,它是GAN体系结构的一种改编,它使模型能够学习如何将照片转换为以某种风格书写的绘画(反之亦然)。 我们还将讨论许多移动照片编辑应用程序中内置的神经传递技术,该技术有助于将照片的样式传递到照片上,从而产生一种印象,即这张照片只是同一位画家的另一幅画作。

6.撰写文字

在本章中,我们转向机器编写的文本。 在这一主题领域,除了生成图像时,还必须面对其他挑战。 在这里,您将学习递归神经网络(RNN)-一种方便解决与串行数据相关的问题的体系结构。 我们还将讨论编码器-解码器的体系结构如何工作,并自己编写问题和答案生成器。

7.作曲

本章专门介绍音乐的产生,并且此任务也与串行数据的产生有关。 但是,与编写文本不同,在这种情况下,还存在其他困难-例如,音乐音色和节奏的建模。 我们将确保用于生成文本的许多技术都适用于该主题领域,并探索称为MuseGAN的深度学习体系结构,该体系结构将第4章(关于GAN)中的思想适用于音乐数据。

8.游戏

本章描述了生成模型如何与机器学习的其他领域(包括强化学习)兼容。 我们将讨论最近发表的最有趣的科学文章之一,即“世界模型”(Worlds of worlds)。 本文的作者展示了如何将生成模型用作训练代理的环境,实际上允许代理“思考”未来的可能情况,并想象如果采取某些措施会发生什么,而这完全是在我们概念的背景下进行的。环境模型。

9.生成建模的未来

在这里,我们总结了生成建模的当前技术前景,并回顾了本书中介绍的一些技术。 我们还将讨论当今可用的最现代的神经网络体系结构,例如GPT-2和BigGAN,如何改变我们有关创造性活动的想法。 我不知道是否有可能创建一个人造系统,以生成与人类视觉艺术,文学和音乐样本无法区分的作品。

10.结论

关于为什么在未来的5-10年内,生成型深度学习可能成为深度学习中最重要的技术领域之一的最终想法。

总结

在一个越来越难以将现实与小说区分开的世界中,工程师的工作变得非常重要,这些工程师必须详细了解生成模型的工作原理,并且不惧怕可能的技术限制。

希望我的书能帮助您迈出了解这些最新技术的第一步,并且对您来说也将成为有趣而愉快的阅读。

Source: https://habr.com/ru/post/zh-CN465987/


All Articles