
将来有一天,我们将戴上眼镜-在城市中漫步,以我们喜欢的风格实时渲染。 阳光或薄雾,傍晚日落等。 无论建筑多么呆板,戴眼镜都会很漂亮。 这种具有样式传递功能的渲染功能由令人惊叹的程序
Deep Photo Style Transfer (在公共领域发布)及其基础
科学工作 (arXiv:1703.07511)打开。
将样式从一个图像转换为另一个图像是一个古老的问题,开发人员过去曾相对成功地尝试解决过。 通过选择正确的样式来传递样式,您可以精美地变换您的照片-就像在一天中的其他时间,在不同的光照下,在不同的天气或以特殊的方式对照片进行艺术处理一样。 到目前为止,使用神经网络传递样式的技术一直相对有限-它们只能在某些场景下使用,或者遭受样式传递的合理性。 新程序
Deep Photo Style Transfer的作者试图解决所有这些问题。
神经网络Deep Photo Style Transfer是根据
Gatis描述的Neural Style传输技术
构建的 ,但已经进行了重大的重新设计和改进。 主要的改进是照片写实。 即使原始图像和样本是照片,盖蒂斯也一样,最终图像仍然类似于图片,清晰的线条和边界变得模糊,纹理叠加在相邻的物体上。 它看起来很漂亮,但不是很真实。
仅色彩空间
深度照片样式转换的结果严格地是真实感的。 由于禁止空间扭曲,消除了“绘画效果”。 在此,样式的转移仅受色彩空间限制。 换句话说,对象的形状与原始形状完全相同。 出于这个原因,将来在本文开头提到的“要点”将成为可能。 周围现实中的所有对象都将保留其形状,只是外观会有所不同。
作者通过
按照Kirchhoff矩阵 (拉普拉斯矩阵)的精神使用神经网络的特定层来完成此任务,
该矩阵以矩阵形式表示图形。 如在具有各种场景的照片中的验证所示,该方法成功地抑制了失真,同时对照片的真实性影响最小。
最明确描述的原理体现在两个特别选择的示例中。

如您所见,对象的边界被清晰保留。 转换仅在色彩空间中进行。 在第一种情况下,火焰转移到了香水瓶上,在第二种情况下,苹果的质地根据图案而变化。
语义分割
该程序作者的第二个成就是解决了在原始照片中的不适当对象和样式样本之间转移样式的问题。 这是通过语义分割完成的。 因此,房屋样式仅在房屋之间转移,而天空样式仅影响天空。 在许多情况下,只要样式样本具有与原始图像相同的语义对象,语义分割就可以非常有效地工作。
以上两种方法提供了非常逼真的照片转换。
原来的

样式图案

最终影像

这里还有更多示例。
原来的

样式图案

最终影像

原来的

样式图案

最终影像

原来的

样式图案

最终影像

原来的

样式图案

最终影像

原来的

样式图案

最终影像

原来的

样式图案

最终影像

原来的

样式图案

最终影像

原来的

样式图案

最终影像

原来的

样式图案

最终影像

原来的

样式图案

最终影像

原来的

样式图案

最终影像

该算法的质量只能由对照片逼真度和样式可靠性进行评估的用户调查来确定。 将进行这样的调查。 他表明,在照片写实方面,“深层照片样式转换”显着超过了先前提出的“神经样式”和“ CNNMRF”的发展,但不及
皮特的显色
系统 。 样式传输的可靠性Deep Photo Style Transfer比其他方法要好得多。

科学工作的作者打算继续进行研究,以克服图像分割的现有限制。 他们还认为使用预训练的神经网络对照片进行实时处理很有希望。