PIFR: un método para generar una máscara 3D, independientemente del ángulo de rotación de la cara

Le presentamos la traducción del artículo " PIFR: Pose Invariant 3D Face Reconstruction ".

En muchas aplicaciones del mundo real, incluida la detección y el reconocimiento de rostros, la generación de emoticones y pegatinas 3D, la geometría de los rostros debe restaurarse a partir de imágenes planas. Sin embargo, esta tarea sigue siendo difícil, especialmente cuando la mayoría de la información sobre la cara es desconocida.

Jiang y Wu de la Universidad de Jiannan (China) y Kittler de la Universidad de Surrey (Gran Bretaña) ofrecen un nuevo algoritmo de reconstrucción facial 3D: PIFR , que aumenta significativamente la precisión de la reconstrucción incluso en poses difíciles.

Pero primero repasemos brevemente el trabajo previo sobre máscaras 3D y la reconstrucción facial.

Estudios de vanguardia

Los autores mencionan cuatro métodos comúnmente disponibles para transformar una máscara 3D:

• Modelo BML propuesto por la Universidad de Basilea;
• Modelos 3DMM desarrollados por Branton y otros;
• Modelo de rostro en 3D de resolución múltiple proporcionado por la Universidad de Surrey (Reino Unido);
• El modelo de cara a gran escala (KMML) creado por Imperial College.

El artículo utiliza el modelo BML, que es el más popular.

Existen varios enfoques para recrear un modelo 3D a partir de una imagen plana, que incluyen:

• método de regresión en cascada ;
• una combinación de detección de hitos faciales y reconstrucción facial en 3D, así como indexación de características para construir un modelo de regresión basado en árboles ;
• un método para normalizar la expresión y posición faciales ;
• Extensión 3DMM ( E-3DMM ), que tiene en cuenta los cambios en las expresiones faciales;
• Ajuste ponderado de puntos de referencia 3DMM basado en el método de regresión tradicional.

Método sugerido - PIFR

El artículo de Jiang, Wu y Kitler propone una nueva Reconstrucción de Rostros 3D Pose-Invariante (PIFR) basada en el método 3DMM.

En primer lugar, los autores proponen generar una imagen frontal, normalizando una imagen frontal de entrada. Este paso le permite restaurar información de identidad adicional de la persona.

El siguiente paso es utilizar la suma ponderada de las características 3D de dos imágenes: frontal y fuente. Esto permite no solo preservar la pose de la imagen original, sino también expandir la información de identificación.

Esquema del enfoque propuesto:



Los experimentos muestran que el algoritmo PIVL mejoró significativamente el rendimiento de la reconstrucción facial 3D en comparación con los métodos anteriores, especialmente en poses complejas.

Considere el modelo propuesto con más detalle.

Descripción del método

El método PIVL se basa en gran medida en el proceso de ajuste 3DMM, que se puede expresar como minimizar el error al calcular las coordenadas de las proyecciones 3D de los puntos clave. Sin embargo, la cara creada por el modelo 3D tiene aproximadamente 50,000 vértices y, por lo tanto, los cálculos iterativos conducen a una convergencia lenta e ineficiente.

Para superar este problema, los investigadores proponen el uso de puntos clave (por ejemplo, el centro del ojo, el ángulo de la boca y la punta de la nariz) como la verdad principal en el proceso de ajuste de la máscara. En particular, se utiliza un ajuste 3DMM de referencia ponderado.


Fila superior: imagen original y punto de referencia. Fila inferior: modelo de cara 3D y su alineación en una imagen 2D

La siguiente tarea es recrear una máscara facial 3D en primer plano. Para resolver este problema, los investigadores utilizan el método de normalización de alta precisión de la postura y la expresión (VNPV) , pero para normalizar solo la postura, no las expresiones faciales. Además, la edición de Poisson se utiliza para restaurar el área de la cara que está cerrada debido al ángulo de visión.

Comparación de rendimiento con otros métodos.

Se evaluó la efectividad del método PIVL para recrear la cara:

1. en poses pequeñas y medianas;
2. primeros planos;
3. posturas complejas (ángulos de desviación ± 90).

Para esto, los investigadores utilizaron tres conjuntos de datos públicos :

• El conjunto de datos AFW creado con imágenes de Flickr contiene 205 imágenes con 468 caras marcadas, fondos complejos y poses de caras.
• Conjunto de datos LFPW que contiene 224 imágenes de caras en un conjunto de prueba y 811 imágenes de caras en un conjunto de entrenamiento; cada imagen está marcada con 68 puntos característicos; Se seleccionaron 900 imágenes de ambos conjuntos para probar en este estudio.
• El conjunto de datos AFLW es una base de datos de rostro a gran escala que contiene alrededor de 250 millones de imágenes etiquetadas a mano y cada imagen está marcada con 21 puntos de características. En este estudio, solo se utilizaron imágenes en posiciones faciales complejas de este conjunto de datos para el análisis cualitativo.
  

Análisis cuantitativo

Utilizando la métrica promedio euclidiana (CEM), el estudio compara el rendimiento del método PIFR con E-3DMM y FW-3DMM en los conjuntos de datos AFW y lfpw. Las curvas de distribución acumulativa de errores (RNO) son las siguientes:


Comparación de curvas de distribución acumulativa de errores (RNO) en el conjunto de datos AFW y LFPW

Como se puede ver en estos gráficos y tablas a continuación, el método PIVL muestra una eficiencia superior en comparación con los otros dos métodos. Especialmente buena es la efectividad de la recreación para primeros planos.

Análisis cualitativo

El método también se evaluó cualitativamente en base a fotografías de caras en diferentes posiciones del conjunto de datos AFLW. Los resultados se muestran en la figura a continuación.


Comparación de la reconstrucción facial 3D: (a) imagen original; (b) FW-3DMM; (c) E-3DMM; (d) enfoque propuesto

Incluso si la mitad de los puntos de referencia no son visibles debido a una pose no trivial, lo que lleva a grandes errores y fallas de otros métodos, el método PIFR aún funciona bien.

A continuación se presentan ejemplos adicionales de la efectividad del método PIVL basado en imágenes del conjunto de datos AFW.


Fila superior: entrada de imagen 2D. Fila central: máscara 3D. Fila inferior: alineación de máscara

Resumen

El nuevo algoritmo de reconstrucción facial PIVL ofrece buenos resultados de reconstrucción incluso en poses complejas. Al aceptar imágenes de origen y de frente para la combinación ponderada, el método le permite restaurar suficiente información sobre caras para recrear una máscara 3D.

En el futuro, los investigadores planean restaurar aún más información sobre la cara para aumentar la precisión de la reconstrucción de la máscara.

El original

Traducido - Farid Gasratov