Google神经网络随机设置实时图像的样式

Google的神经网络会将32种经过训练的样式中的任何一种叠加在照片上（此处显示了5种）。该程序不需要硬件和内存。该代码将在不久之后发布。

合成纹理，将样式从一个图像转移到另一个图像-已有15年的知名技术。这是第一次在文章中描述的“ 相似的图像 ”从微软研究以及在文章的会议SIGGRAPH 2001年一个研究小组的“ 绗缝图像纹理合成和传递 ”在同一个2001年从三菱电机研究和加州大学伯克利分校。现在很难说哪一个出现的更早了。

在2015年，该技术获得了第二次生命，当时神经网络已通过样式转换连接到图像合成。它发生的科学工作后“ neuroalgorithms艺术风格 ”从大学埃伯哈德-卡尔斯德国图宾根（Getisa，埃克和贝特格上Geektimes文章）。这项工作令人印象深刻，以至于所描述的算法很快在面向消费者市场的几种计算机程序中实现，包括俄罗斯Prisma等移动应用程序（2016年6月）。

Gatis，Ecker和Betge的作品之所以出色，是因为作者在著名艺术家Vincent Van Gogh，Pablo Picasso，Edward Munch等人的现有作品上训练了神经网络。同时，神经网络可以继续在其他数据集上进行训练，因此这是一种通用工具。这种神经网络运行在Prisma和其他分发移动应用程序以对用户照片进行样式化的公司的服务器上。

Getis，Ecker和Betge的卷积神经网络是在Simonyan和Zisserman的19层VGG神经网络的基础上创建的，原始图像的处理分几个阶段进行。在层次结构的每个阶段，过滤器的数量都会增加。特定样式的样式发生在“下采样”的第一阶段（宽笔画，立体图案等），神经网络的最后一层处理原始图像，从而使对象保持可识别性（图中的d和e）。神经网络从一个随机位置（或从原始图像）开始工作，直到结果满足指定要求。



内容和样式的表示在神经网络中彼此分开。因此，它们可以彼此独立地被控制。例如，从一个图像获取内容，从另一个图像获取样式。


盖蒂斯（Gatis），埃克（Ecker）和贝奇（Betge）神经网络中的

图像


样式示例原始图像：图宾根旧城区样式示例：绘画“小丑的头”（1907-1908），乔治·鲁奥（Georges Rouault），样式：表现主义


神经网络的工作成果


该工作被认为是深度学习技术的一项根本性突破，因为这是通过神经网络传递艺术风格的第一个概念证明。所谓的艺术视野，作者的风格和艺术流派已被神经网络成功地形式化和吸收了。人工智能首先掌握了真正的创造力。

分离图片样式和内容的想法创建了各种神经网络，包括用于生成令人恐惧的图像的神经网络。并生成色情图片。

不幸的是，Gatis，Ecker和Betge神经网络有一个缺点：这样的神经网络对计算资源的要求太高。在发布了第一个演示应用程序之后，这一点变得很清楚，该应用程序在服务器上处理了几分钟。

在随后的工作中，包括俄罗斯专家的研究，由于功能有限，神经网络得到了显着优化。结果，优化达到了这样的程度，即几分钟而不是几分钟，照片的定型几乎立即开始发生。因此，有机会甚至可以对实时视频进行样式化！

但是，这种风格化却不利于硬币。仅当为样本拍摄一张图像时，才可以进行超快速的样式设置。这是原始算法的局限性，因为它与一种样式无关。换句话说，如果您要制作一个可以传递100种不同样式的系统，则必须预先训练100种不同的神经网络。

现在Google为这项研究做出了贡献。 2016年10月24日，Google Brain团队的员工发表了一篇文章，描述了一种算法，该算法的运行速度与以前的算法一样快，但同时在一个可以施加任何后继风格的通用神经网络中进行。

根据的话对于开发人员来说，他们的算法易于实现，并且对RAM的要求不高。此外，在接受了几种样式的培训后，他能够同时组合多种样式并实时工作。例如，下面是蒂宾根旧城区的照片，上面同时叠加了四种风格。



研究人员认为，他们的工作为样式化神经网络的创造性使用开辟了新的可能性。他们承诺在不久的将来在Magenta博客上发布TensorFlow程序的源代码，以便每个人都可以在其计算机上运行该演示。

流行科学视频中介绍了有关在神经网络中样式化图像的更多详细信息。。这是由两名员工Nat和Lo在其20％的工作时间中记录下来的，Google将这些时间分配给他们选择的项目。

Source: https://habr.com/ru/post/zh-CN398703/