哈Ha！ 我向您介绍
“通过GAN进行面部表面和纹理合成”一文的翻译 。
当研究人员缺乏实际数据时，他们通常会求助于数据扩充，以扩展现有数据集。 这样做的想法是修改现有的训练数据集，以使语义属性保持不变。
对于人脸而言，这并不是一件微不足道的任务。人脸生成方法应考虑到以下复杂数据转换：
同时创建与真实数据的统计信息一致的真实图像。
考虑最新的方法如何尝试解决此问题。
现代人脸生成方法
生成对抗神经网络（GANs）已被证明在赋予合成数据更多真实性方面更为有效。 通过接受合成数据作为输入，
GAN生成的样本更像真实数据 。 但是，语义属性可以更改，甚至损失函数（为更改参数）也无法最终解决问题。
3D变形模型（3DMM）是表示和合成几何形状和纹理的最常用方法，最初是在生成三维人脸的背景下引入的。 根据该模型，人脸的几何结构和纹理可以作为根矢量的组合而线性近似。
最近，
3DMM模型已经与卷积神经网络
结合起来以增强数据。 但是，最终的样本过于平滑且不切实际，如下图所示：
使用3DMM获得的人员
此外，3DMM基于高斯分布生成数据，而这种分布很少反映数据的实际分布。 例如，以下是基于真实面孔并使用3DMM合成的两个PCA（主成分分析）系数。 合成分布与实际分布之间的差异很容易导致生成错误的数据。
实际（左）和3DMM生成（右）个体的前两个PCA系数
最先进的想法
以色列理工学院的Slossberg，Shamai和Kimmel
提供了一种结合3DMM和GAN
来合成逼真的人脸的新方法 。
特别是，研究人员使用GAN来模拟参数化人体纹理的空间并创建相应的面部几何形状，从而为每种纹理计算最佳3DMM系数。 生成的纹理被映射到适当的几何形状以生成新的高分辨率3D面。
这种架构可生成逼真的图像，而：
- 不受姿势和照明等属性的控制
- 在数量上不受新面孔的限制。
让我们仔细看看数据生成过程。
数据生成过程
资料准备
数据生成管道包括四个主要步骤：
- 数据收集 ：研究人员已收集了5,000多次不同种族，性别和年龄组的扫描（面部扫描）。 每个参与者必须描绘5种不同的面部表情，包括中性。
- 标记 ：通过渲染脸部并使用预先训练的脸部标记检测器，将43个关键点半自动添加到mashi中
- 网格对齐 ：由于脸部的模板网格根据每次扫描的几何形状变形而实现，重点是附加的标记。
- 纹理转移 ：使用Blender工具箱中内置的射线投射技术将纹理从扫描转移到模板。 之后，使用预定义的通用转换将纹理从模板转换为二维条
扁线面部纹理
下一步是教GAN如何创建对齐纹理的模拟。 为了完成这项任务，研究人员使用了渐进式GAN，并将其生成器和鉴别器组织为对称神经网络。 在这样的实现中，生成器逐渐增加特征图的大小，直到达到输出图像的大小，而鉴别器逐渐将大小减小回单个输出。
甘面纹理最后一步是创建面几何。 研究人员尝试了不同的方法来为纹理找到正确的几何系数。 以下各种方法的定性和定量比较（L2几何误差）：
两个合成的纹理叠加在不同的几何形状上。
出乎意料的是，最小二乘法显示了最佳结果。 考虑到该方法的简便性，所有实验均选择了该方法。
结果
所提出的方法可以产生许多新的面孔，并且每个面孔都可以用不同的表情和光照以各种姿势来表示。 使用“混合形状”模型将各种面部表情添加到中性几何中。 结果图像如下所示：
为了进行定量评估，研究人员使用
了Wasserstein截断度量标准（SWD）来测量训练分布和生成图像之间的距离。
该表表明，与使用3DMM获得的纹理相比，所得纹理在统计上更接近真实数据。
以下实验评估了合成图像的能力，该图像与训练数据集明显不同，并且可以获取以前看不见的图像。 因此，评估中不包括5％的个人。 研究人员测量了L2，即来自训练数据的每个真实人与所生成的最相似人之间的距离，并且对来自训练数据集的真实人的相似度进行了测量。
合成人脸与真实人脸之间的距离
从图中可以看出，测试数据比训练图像更接近生成的图像。 此外，“测试伪造”的距离与“伪造真实”的距离没有太大差异。 因此，获得的样本不仅是类似于训练集的合成面孔，而且是全新面孔。
最后，为了验证生成初始数据集的可能性，进行了定性评估：将通过该模型获得的面部纹理与其在L2度量中最接近的邻居进行比较。
合成纹理（上）与最接近的真实“邻居”（下）
如您所见，最接近的真实纹理与原始纹理完全不同，这使我们可以得出有关生成新面孔的能力的结论。
总结
所提出的模型可能是第一个能够现实地合成人脸纹理和几何形状的模型。 这对于检测和识别面部或面部重建模型很有用。 另外，它可以用于需要许多不同逼真的面孔的情况下，例如在电影业或计算机游戏中。 此外，该结构不限于人脸的合成，而是实际上可以用于可能进行数据增强的其他类别的对象。
原来的翻译-Stanislav Litvinov。