PIFR - une méthode pour générer un masque 3D, quel que soit l'angle de rotation du visage

Nous vous présentons la traduction de l'article « PIFR: Pose Invariant 3D Face Reconstruction ».

Dans de nombreuses applications du monde réel, y compris la détection et la reconnaissance des visages, la génération d'émoticônes et d'autocollants 3D, la géométrie du visage doit être restaurée à partir d'images plates. Cependant, cette tâche reste difficile, surtout lorsque la plupart des informations sur le visage sont inconnaissables.

Jiang et Wu de l'Université de Jiannan (Chine) et Kittler de l'Université de Surrey (Grande-Bretagne) proposent un nouvel algorithme de reconstruction faciale 3D - PIFR , qui augmente considérablement la précision de la reconstruction même dans des poses difficiles.

Mais passons d'abord brièvement en revue les travaux antérieurs sur les masques 3D et la reconstruction du visage.

Études de pointe

Les auteurs mentionnent quatre méthodes couramment disponibles pour transformer un masque 3D:

• Modèle BML proposé par l'Université de Bâle;
• Modèles 3DMM développés par Branton et autres;
• Modèle de visage multi-résolution 3D fourni par l'Université de Surrey (Royaume-Uni);
• Le modèle de visage à grande échelle (KMML) créé par Imperial College.

L'article utilise le modèle BML, qui est le plus populaire.

Il existe plusieurs approches pour recréer un modèle 3D à partir d'une image plate, notamment:

• méthode de régression en cascade ;
• une combinaison de détection de points de repère de visage et de reconstruction de visage en 3D, ainsi que l'indexation de caractéristiques pour construire un modèle de régression basé sur un arbre ;
• une méthode de normalisation de l'expression et de la position du visage ;
• Extension 3DMM ( E-3DMM ), qui prend en compte les changements dans les expressions faciales;
• ajustement pondéré des repères 3DMM basé sur la méthode de régression traditionnelle.

Méthode suggérée - PIFR

L'article de Jiang, Wu et Kitler propose une nouvelle reconstruction de visage 3D Pose-Invariant (PIFR) basée sur la méthode 3DMM.

Premièrement, les auteurs proposent de générer une image frontale, de normaliser une image faciale d'entrée. Cette étape vous permet de restaurer des informations d'identité supplémentaires sur la personne.

L'étape suivante consiste à utiliser la somme pondérée des caractéristiques 3D de deux images: frontale et source. Cela permet non seulement de conserver la pose de l'image d'origine, mais également d'élargir les informations d'identification.

Schéma de l'approche proposée:



Les expériences montrent que l'algorithme PIVL a considérablement amélioré les performances de reconstruction faciale 3D par rapport aux méthodes précédentes, en particulier dans les poses complexes.

Examinez le modèle proposé plus en détail.

Description de la méthode

La méthode PIVL s'appuie fortement sur le processus d'ajustement 3DMM, qui peut être exprimé comme minimisant l'erreur dans le calcul des coordonnées des projections 3D des points clés. Cependant, la face créée par le modèle 3D a environ 50 000 sommets, et donc les calculs itératifs conduisent à une convergence lente et inefficace.

Pour surmonter ce problème, les chercheurs suggèrent d'utiliser les points clés (par exemple, le centre de l'œil, l'angle de la bouche et le bout du nez) comme vérité principale dans le processus d'ajustement du masque. En particulier, un ajustement 3DMM de référence pondéré est utilisé.


Rangée du haut: image originale et repère. Rangée du bas: modèle de face 3D et son alignement sur une image 2D

La tâche suivante consiste à recréer un masque facial 3D en gros plan. Pour résoudre ce problème, les chercheurs utilisent la méthode de normalisation de haute précision de la posture et de l'expression (VNPV) , mais pour normaliser uniquement la posture, pas les expressions faciales. De plus, l' édition Poisson est utilisée pour restaurer la zone du visage qui est fermée en raison de l'angle de vue.

Comparaison des performances avec d'autres méthodes

L'efficacité de la méthode PIVL a été évaluée pour recréer le visage:

1. en petites et moyennes poses;
2. gros plans;
3. postures complexes (angles de déviation ± 90).

Pour cela, les chercheurs ont utilisé trois ensembles de données publics :

• L'ensemble de données AFW créé à l'aide d'images Flickr contient 205 images avec 468 visages marqués, arrière-plans complexes et poses de visages.
• Ensemble de données LFPW contenant 224 images de visages dans un ensemble de test et 811 images de visages dans un ensemble d'apprentissage; chaque image est marquée de 68 points caractéristiques; 900 images des deux ensembles ont été sélectionnées pour être testées dans cette étude.
• L'AFLW Dataset est une base de données de visages à grande échelle qui contient environ 250 millions d'images marquées à la main et chaque image est marquée de 21 points caractéristiques. Dans cette étude, seules les images dans des positions faciales complexes de cet ensemble de données ont été utilisées pour l'analyse qualitative.
  

Analyse quantitative

À l'aide de la métrique moyenne euclidienne (CEM), l'étude compare les performances de la méthode PIFR avec E-3DMM et FW-3DMM dans les ensembles de données AFW et lfpw. Les courbes de distribution d'erreur cumulée (RNO) sont les suivantes:


Comparaison des courbes de distribution d'erreur cumulative (RNO) dans l'ensemble de données AFW et LFPW

Comme le montrent ces graphiques et tableaux ci-dessous, la méthode PIVL montre une efficacité supérieure par rapport aux deux autres méthodes. L'efficacité des loisirs pour les gros plans est particulièrement bonne.

Analyse qualitative

La méthode a également été évaluée qualitativement sur la base de photographies de visages dans différentes positions du jeu de données AFLW. Les résultats sont présentés dans la figure ci-dessous.


Comparaison de la reconstruction faciale 3D: (a) image originale; (b) FW-3DMM; (c) E-3DMM; d) approche proposée

Même si la moitié des points de repère ne sont pas visibles en raison d'une posture non triviale, ce qui entraîne de grandes erreurs et des échecs d'autres méthodes, la méthode PIFR fonctionne toujours bien.

Vous trouverez ci-dessous des exemples supplémentaires de l'efficacité de la méthode PIVL basée sur des images de l'ensemble de données AFW.


Rangée supérieure: entrée d'image 2D. Rangée du milieu: masque 3D. Rangée du bas: alignement du masque

Résumé

Le nouvel algorithme de reconstruction de visage PIVL donne de bons résultats de reconstruction même dans des poses complexes. En acceptant les images source et frontales pour la fusion pondérée, la méthode vous permet de restaurer suffisamment d'informations sur les visages pour recréer un masque 3D.

À l'avenir, les chercheurs prévoient de restaurer encore plus d'informations sur le visage afin d'augmenter la précision de la reconstruction du masque.

L'original

Traduit - Farid Gasratov