哈Ha！ 我向您介绍“
从2D图像中学习3D人脸可变形模型 ”一文的翻译。
面部的三维可变形模型（3D Morphable Model，以下简称3DMM）是面部结构和纹理的统计模型，计算机视觉，计算机图形学将其用于人类行为分析和整形外科。
每个面部特征的独特性使对人脸建模成为一项
艰巨的任务 。 创建3DMM是为了在显式对应空间中获得人脸模型。 这意味着结果模型与其他允许变形的模型之间存在逐点对应关系。 此外，低级转换（例如，男性面部与女性之间的差异，来自微笑的中性面部表情）应反映在3DMM中。
密歇根大学的研究人员提供了最新的深度学习3DMM方法。 利用深度神经网络的高效率来实现非线性映射，他们的方法允许基于在任意环境中捕获的2D图像获得3DMM。
早期方法
通常，使用一组3D面部扫描和一组相同面部的2D图像获得3DMM。 通常接受的方法是在与老师的教学中使用降维，这是使用主成分分析（PCA）对由3D面部扫描和相应的2D图像组成的训练数据集执行的。 当使用线性模型（例如PCA）时，非线性变换和面部变化无法反映在3DMM中。 此外，为了对面部的精确3D纹理建模，需要大量的“ 3D信息”。 因此，这种方法的使用是无效的。
拟议方法
提出的方法的想法是使用深度神经网络，或更具体地说，使用
卷积神经网络 （与多层感知器相比，它更适合于所考虑的问题，并且在计算时间方面比多层感知器更便宜）来获得3DMM。 编码神经网络（编码器）将人脸图像作为输入，并生成人脸纹理和反照率参数，两个解码神经网络（解码器）利用该参数评估纹理和反照率。
如前所述，线性3DMM存在许多问题，例如需要进行3D面部扫描，无法使用从任意角度拍摄的图像以及由于使用线性PCA而导致的显示精度有限。 继而，所提出的方法允许基于
从任意角度获取的高分辨率面部的2D图像获得非线性3DMM模型。
平面图
在他们的方法中，研究人员使用详细的2D人脸图来表示其纹理和反照率。 他们认为，考虑到空间信息起着重要的作用，因为他们使用了卷积神经网络，并且人脸的正面图像几乎没有关于侧面的信息。 这就是为什么他们的选择落在平面表示上的原因。
反照率的三种不同观点。 （a）-3D表示，（c）-作为面部2D正面图像的反照率，（c）-平面表示。
平面图。 x，y，z和纹理的摘要表示。
神经网络架构
研究人员设计了一个神经网络，将图像作为输入，将其编码为纹理，反照率和照明的矢量。 使用两个卷积神经网络的解码器对反照率和纹理的编码隐藏矢量进行解码。 在输出端，解码器发出面部的眩光，反照率和3D面部纹理。 使用这些参数，可区分的渲染层通过组合由编码器获得的3D纹理，反照率，照明和相机位置参数来生成人脸模型。 下图显示了该体系结构。
提出的非线性3DMM获取方法的架构
所得的稳定非线性3DMM可用于2D人脸重叠并解决三维人脸重建问题。
渲染层布局
与其他方法的比较
以以下任务为例，将所考虑的方法与其他方法进行了比较：
2D覆盖，3D人脸重建和编辑 。 所提出的方法优于其他现代方法来解决这些问题。 比较结果如下所示。
2D面部覆盖
该方法的应用之一是人脸覆盖，它可以显着改善许多任务中人脸的分析（例如，人脸识别）。 施加面部表情不是一件容易的事，但是所考虑的方法在解决它时显示出很高的效果。
2D叠加结果。 不可见的标记以红色标记。 正在考虑的方法反映了不寻常的姿势，光线和面部表情。
3D人脸重建
还使用3D人脸重建技术比较了所考虑的方法，与其他方法相比，该方法显示了出色的结果。
3D重建结果的定量比较
与Sela等人的方法相比，3D重建的结果比该方法更好地节省了面部毛发和其他面部特征。
3D重建的结果与杰克逊（Jackson）等人的VRN进行比较，并以著名的CelebA数据集为例。
与Tewari等人的方法相比，3D重建的结果如您所见，该方法解决了在存在各种纹理（例如面部毛发）的情况下压缩面部的问题。
脸部编辑
讨论的方法将脸部图像分解为单独的元素，并允许您通过操纵它们来更改脸部。 以更改照明和添加其他面部元素等任务为例，评估了该方法在编辑面部时的结果。
添加胡须的结果。 第一列包含原始图像，第二列-胡须变化程度不同。
与Shu等人的方法比较（第二行）。 如您所见，建议的方法可以提供更逼真的图像，此外，可以更好地保留脸部身份。
结论
所提议的方法大概将被广泛使用，因为它使您能够获得准确而稳定的3DMM。 尽管3DMM从一开始就被广泛使用，但是直到所讨论的方法问世为止，仍然没有有效的方法来从任意角度使用2D图像获得此模型。
所提出的方法使用深度神经网络作为逼近器，对具有所有特征的人脸进行可持续建模。 这样一种不寻常的获取3DMM的方法可以使您处理图像，并且可以在许多任务中使用，其中有些任务已在本文中介绍。
翻译-Boris Rumyantsev。