Wir präsentieren Ihnen die Übersetzung des Artikels „
PIFR: Pose Invariant 3D Face Reconstruction “.
In vielen realen Anwendungen, einschließlich Gesichtserkennung und -erkennung, der Erzeugung von 3D-Emoticons und -Aufklebern, muss die Gesichtsgeometrie aus flachen Bildern wiederhergestellt werden. Diese Aufgabe bleibt jedoch schwierig, insbesondere wenn die meisten Informationen über das Gesicht nicht bekannt sind.
Jiang und Wu von der University of Jiannan (China) und Kittler von der University of Surrey (Großbritannien) bieten einen
neuen 3D-Gesichtsrekonstruktionsalgorithmus an - PIFR , der die Genauigkeit der Rekonstruktion auch in schwierigen Posen erheblich erhöht.
Aber lassen Sie uns zunächst kurz auf frühere Arbeiten zu 3D-Masken und Gesichtsrekonstruktionen eingehen.
Studien auf dem neuesten Stand der Technik
Die Autoren erwähnen vier allgemein verfügbare Methoden zum Verwandeln einer 3D-Maske:
Der Artikel verwendet das BML-Modell, das am beliebtesten ist.
Es gibt verschiedene Ansätze zum Neuerstellen eines 3D-Modells aus einem flachen Bild, darunter:
Vorgeschlagene Methode - PIFR
Der Artikel von Jiang, Wu und Kitler schlägt eine neue poseninvariante 3D-Gesichtsrekonstruktion (PIFR) vor, die auf der 3DMM-Methode basiert.
Erstens schlagen die Autoren vor, ein Frontalbild zu erzeugen und ein eingegebenes Gesichtsbild zu normalisieren. Mit diesem Schritt können Sie zusätzliche Identitätsinformationen der Person wiederherstellen.
Der nächste Schritt besteht darin, die gewichtete Summe der 3D-Merkmale zweier Bilder zu verwenden: Frontal und Quelle. Dies ermöglicht nicht nur, die Pose des Originalbildes beizubehalten, sondern auch die Identifikationsinformationen zu erweitern.
Schema des vorgeschlagenen Ansatzes:
Experimente zeigen, dass der PIVL-Algorithmus die 3D-Gesichtsrekonstruktionsleistung im Vergleich zu früheren Methoden, insbesondere in komplexen Posen, signifikant verbesserte.
Betrachten Sie das vorgeschlagene Modell genauer.
Methodenbeschreibung
Die PIVL-Methode stützt sich stark auf den 3DMM-Anpassungsprozess, der als Minimierung des Fehlers bei der Berechnung der Koordinaten von 3D-Projektionen von Schlüsselpunkten ausgedrückt werden kann. Das vom 3D-Modell erstellte Gesicht hat jedoch ungefähr 50.000 Eckpunkte, und daher führen iterative Berechnungen zu einer langsamen und ineffizienten Konvergenz.
Um dieses Problem zu lösen, schlagen die Forscher vor, wichtige Punkte (z. B. die Mitte des Auges, den Winkel des Mundes und die Nasenspitze) als Hauptwahrheit bei der Anpassung der Maske zu verwenden. Insbesondere wird eine gewichtete Referenz-3DMM-Anpassung verwendet.
Obere Reihe: Originalbild und Orientierungspunkt. Untere Reihe: 3D-Gesichtsmodell und seine Ausrichtung auf einem 2D-BildDie nächste Aufgabe besteht darin, eine 3D-Gesichtsmaske in Nahaufnahme neu zu erstellen. Um dieses Problem zu lösen, verwenden die Forscher die
Methode der hochpräzisen Normalisierung von Haltung und Ausdruck (VNPV) , jedoch nur zur Normalisierung von Haltung und nicht von Gesichtsausdrücken. Darüber hinaus wird die
Poisson-Bearbeitung verwendet, um den Bereich des Gesichts wiederherzustellen, der aufgrund des Betrachtungswinkels geschlossen ist.
Leistungsvergleich mit anderen Methoden
Die Wirksamkeit der PIVL-Methode wurde bewertet, um das Gesicht wiederherzustellen:
- in kleinen und mittleren Posen;
- Nahaufnahmen;
- komplexe Körperhaltungen (Abweichungswinkel ± 90).
Dafür verwendeten die Forscher
drei öffentliche Datensätze :
- Der mit Flickr-Bildern erstellte AFW-Datensatz enthält 205 Bilder mit 468 markierten Gesichtern, komplexen Hintergründen und Gesichtsposen.
- LFPW-Datensatz mit 224 Bildern von Gesichtern in einem Testsatz und 811 Bildern von Gesichtern in einem Trainingssatz; Jedes Bild ist mit 68 charakteristischen Punkten markiert. In dieser Studie wurden 900 Bilder aus beiden Sets zum Testen ausgewählt.
- Der AFLW-Datensatz ist eine umfangreiche Gesichtsdatenbank, die etwa 250 Millionen handmarkierte Bilder enthält. Jedes Bild ist mit 21 Merkmalspunkten versehen. In dieser Studie wurden nur Bilder in komplexen Gesichtspositionen aus diesem Datensatz für die qualitative Analyse verwendet.
Quantitative Analyse
Unter Verwendung der Euklidischen Durchschnittsmetrik (CEM) vergleicht die Studie die Leistung der PIFR-Methode mit E-3DMM und FW-3DMM in den AFW- und lfpw-Datensätzen. Die kumulativen Fehlerverteilungskurven (RNO) sind wie folgt:
Vergleich der kumulativen Fehlerverteilungskurven (RNO) im AFW- und LFPW-DatensatzWie aus diesen Diagrammen und Tabellen unten ersichtlich ist, zeigt die PIVL-Methode im Vergleich zu den beiden anderen Methoden eine überlegene Effizienz. Besonders gut ist die Effektivität der Erholung für Nahaufnahmen.
Qualitative Analyse
Die Methode wurde auch qualitativ anhand von Fotografien von Gesichtern an verschiedenen Positionen aus dem AFLW-Datensatz bewertet. Die Ergebnisse sind in der folgenden Abbildung dargestellt.
Vergleich der 3D-Gesichtsrekonstruktion: (a) Originalbild; (b) FW-3DMM; (c) E-3DMM; (d) vorgeschlagener AnsatzSelbst wenn die Hälfte der Orientierungspunkte aufgrund einer nicht trivialen Pose nicht sichtbar ist, was zu großen Fehlern und Fehlern anderer Methoden führt, funktioniert die PIFR-Methode immer noch gut.
Nachfolgend finden Sie zusätzliche Beispiele für die Wirksamkeit der PIVL-Methode basierend auf Bildern aus dem AFW-Datensatz.
Obere Reihe: 2D-Bildeingabe. Mittlere Reihe: 3D-Maske. Untere Reihe: Maskenausrichtung
Zusammenfassung
Der neue PIVL-Gesichtsrekonstruktionsalgorithmus liefert auch in komplexen Posen gute Rekonstruktionsergebnisse. Mit dieser Methode können Sie sowohl Quell- als auch Frontbilder für das gewichtete Zusammenführen akzeptieren und genügend Informationen zu Gesichtern wiederherstellen, um eine 3D-Maske neu zu erstellen.
In Zukunft planen die Forscher, noch mehr Informationen über das Gesicht wiederherzustellen, um die Genauigkeit der Rekonstruktion der Maske zu erhöhen.
Das OriginalÜbersetzt - Farid Gasratov