在神经网络的基础上画出猫头鹰的其余部分

在神经网络的帮助下,实现了圈出猫头鹰的想法。

图片


基于机器学习和神经网络,开发人员Christopher Hesse创建了一个在线服务,可以将草图“绘制”为全彩色照片。

网站http://affinelayer.com/pixsrv/index.html Christopher Hesse提出了一种可以养猫的神经网络。

邀请用户在左侧窗口中绘制猫的草图,单击“处理”,然后查看神经网络如何绘制插图。 该页面显示了这样一个美丽的示例:

图片


显然,草图中使用的线条越多,并且草图看起来像来自训练集中的猫一样,神经网络就可以基于它更好地创建完整的图形。

这是作者自己写的:

最近,我在Isola等人的文章中创建了一个Tensorflow pix2pix端口, Tensorflow中的图像到图像转换中进行了讨论 。 我采用了一些以前创建的模型,并制作了一个交互式网页进行测试。 建议使用Chrome浏览器进行查看。
pix2pix模型的工作原理是对图像进行训练,例如建筑物立面的草图和建筑物立面的完整图像,然后尝试为传输的任何输入图像生成适当的输出图像。 这个想法来自pix2pix文章 ,推荐阅读。

外墙
该模型接受了建筑立面草图样本到立面的完整图像的训练。 该模型不太可能在具有较大空白区域的草图上使用,但是如果您在草图中绘制了足够数量的窗口,则该模型通常会给出良好的结果。 在草图中,立面元素用彩色矩形绘制,不仅指示边框,还指示整个元素。

我没有建筑物外墙各个部分的名称,所以我只是大致指定它们。

edges2cats
培训对大约2,000张猫和草图的照片进行了训练,并为这些照片自动生成了边框。 该模型从草图创建猫的彩色图像,但是有些遇到噩梦般的结果。 我在这里看到的其中之一。
我认为有些图片看起来特别令人毛骨悚然,因为猫的画法不正确,尤其是从眼睛后面画的不正确。 自动生成边界的过程质量不是很高,并且在许多情况下没有露出猫的眼睛,这会影响所准备的用于模型训练的图像数据库的质量。

edges2鞋子
训练是基于从Zappos收集的大约5万张鞋子的图像以及这些图像的自动生成的轮廓边界进行的。 如果您确实很好地绘制了鞋子的边框,则可以尝试创建一些新设计。 请记住,模型是在真实对象上训练的,因此,如果您可以绘制更好的3D草图,则结果将看起来更好。

edge2手袋
与以前的模拟类似,在从亚马逊收集的大约13.7万张行李袋照片的基础上进行了培训,并为这些照片自动生成了轮廓边框。 如果您在这里画鞋子而不是手提包,您会得到非常奇怪的鞋子质地。

实作
使用pix2pix-tensorflow中的pix2pix.py脚本执行模型的训练和导出。 使用Canvas API基于JavaScript制作了一个交互式演示,该演示与传输Tensorflow图像的服务器进行交互。 服务器可以自行启动Tensorflow或将请求转发到Tensorflow Cloud Cloud Google服务。
训练有素的模型在GitHub 的Datasets部分中可用。 原始pix2pix实现附带的模型也应该可用。 可以使用pix2pix.py脚本从受过训练的示例中导出模型,并且已导出模型的链接位于GitHub服务器上的README文件中
使用整体嵌套边缘检测算法获得猫照片的边框,并将此功能添加到process.py脚本中,并将相应的依赖项添加到Docker映像中

Source: https://habr.com/ru/post/zh-CN401835/


All Articles