生成对抗网络(GAN)-一类具有有趣功能的深度生成模型。 他们的主要思想是训练两个神经网络,一个学习数据合成(例如图像)的生成器,以及一个学习如何区分真实数据与生成器合成的数据的鉴别器。 此方法已成功用于
高质量图像合成 ,
改进的图像压缩等。
在ImageNet上训练期间生成的样本的演变。 生成器受图像类别的限制(例如,“大胡子猫头鹰”或“金毛猎犬”)。在自然图像合成领域,
有条件的GSS可以达到最佳效果,与无条件的
GSS相比 ,
有条件的GSS在训练过程中使用标签(“机器”,“狗”等)。 并且尽管这简化了任务并显着改善了结果,但是这种方法需要大量的标记数据,这在实践中很少见。
在我们的“使用更少标签生成高质量图像”中,我们提出了一种新方法来减少训练高级条件GSS所需的标签数据量。 将这种方法与大规模GSS开发中的最新突破相结合,我们使用的标签数量减少了10倍,从而可以生成质量相当的自然图像。 我们还将基于此研究发布
比较GAN库的大型更新,其中包含培训和评估现代GSS的所有必要组件。
通过半监督和自我监督进行改进
在有条件的GSS中,生成器和鉴别器通常仅限于类别标签。 在我们的工作中,我们建议用假定的标签替换手动粘贴的标签。 为了显示由大部分未标记数据组成的大集合的高质量标签,我们使用了两步方法。 首先,我们学习如何仅通过数据库未分配部分的示例来呈现图像特征。 要了解标志的呈现方式,我们以一种
最近提出的方法的形式使用自我监督,在该
方法中,未标记的数据被随机混合,并且深度卷积神经网络预测旋转角度。 想法是模型应该能够识别基本对象及其形状,以便成功完成此任务:

然后,我们将训练网络中间层之一的激活序列视为输入数据特征的新表示,并训练分类器使用初始数据集的标记部分来识别这些输入数据的标记。 由于已对网络进行了初步的训练以提取语义上有意义的数据属性(在具有旋转预测的任务中),因此通过示例训练此分类器比从头训练整个网络更为有效。 最后,我们使用此分类器标记未分配的数据。
为了进一步提高模型的质量和训练的稳定性,我们鼓励鉴别器网络学习有意义的属性表示,这些属性在训练过程中由于我们
先前介绍的辅助损失而没有被遗忘。 从
Fréchet距离来看,这两个优点以及大规模培训提供了先进的条件式GSS,非常适合从ImageNet合成图像。
生成器网络基于特征向量生成图像。 在每一行中,最左边和最右边图片的特征码的线性插值会导致图像空间中的语义插值。比较GAN库以培训和评估GSS
GSS领域的高级研究在很大程度上取决于开发和测试良好的代码,因为即使要复制以前的结果和技术也需要大量的精力。 为了支持开放科学并允许研究社区在最近的突破基础上发展,我们正在发布Compare GAN库的大型更新。 它包括损失函数,正则化和归一化方案,神经网络体系结构以及数值度量,通常在现代GSS中使用。 她还已经支持:
结论和未来计划
考虑到标记的和未标记的数据源之间的差距,仅从部分标记的数据中学习
变得越来越重要 。 我们已经证明,简单而强大的自我监督与半监视相结合可以帮助弥合GSS的这一差距。 我们认为,自我监督是一个有前途的想法,需要在生成建模的其他领域进行探索。