PIFR - metode menghasilkan topeng 3D, terlepas dari sudut rotasi wajah

Kami sajikan kepada Anda terjemahan dari artikel “ PIFR: Rekonstruksi Wajah 3D Invarian Pose ”.

Dalam banyak aplikasi dunia nyata, termasuk deteksi dan pengenalan wajah, pembuatan emotikon 3D dan stiker, geometri wajah perlu dipulihkan dari gambar datar. Namun, tugas ini tetap sulit, terutama ketika sebagian besar informasi tentang wajah tidak diketahui.

Jiang dan Wu dari Universitas Jiannan (Cina) dan Kittler dari Universitas Surrey (Inggris) menawarkan algoritma rekonstruksi wajah 3D baru - PIFR , yang secara signifikan meningkatkan keakuratan rekonstruksi bahkan dalam pose sulit.

Tapi mari kita tinjau dulu pekerjaan sebelumnya tentang topeng 3D dan rekonstruksi wajah.

Studi mutakhir

Para penulis menyebutkan empat metode yang umum tersedia untuk memetakan topeng 3D:

• Model BML yang diusulkan oleh University of Basel;
• Model 3DMM dikembangkan oleh Branton dan lainnya;
• Model wajah multi-resolusi 3D yang disediakan oleh University of Surrey (UK);
• Model wajah skala besar (KMML) yang dibuat oleh Imperial College.

Artikel ini menggunakan model BML, yang merupakan yang paling populer.

Ada beberapa pendekatan untuk membuat kembali model 3D dari gambar datar, termasuk:

• metode regresi kaskade ;
• kombinasi deteksi tengara wajah dan rekonstruksi wajah 3D, serta pengindeksan fitur untuk membangun model regresi berbasis pohon ;
• metode normalisasi ekspresi dan posisi wajah ;
• Ekstensi 3DMM ( E-3DMM ), yang memperhitungkan perubahan ekspresi wajah;
• pas tertimbang landmark 3DMM berdasarkan metode regresi tradisional.

Metode yang Disarankan - PIFR

Artikel oleh Jiang, Wu, dan Kitler mengusulkan Rekonstruksi Wajah 3D Pose-Invariant (PIFR) baru berdasarkan metode 3DMM.

Pertama, penulis mengusulkan untuk menghasilkan gambar frontal, menormalkan satu gambar wajah input. Langkah ini memungkinkan Anda mengembalikan informasi identitas tambahan orang tersebut.

Langkah selanjutnya adalah menggunakan jumlah fitur 3D tertimbang dari dua gambar: frontal dan sumber. Ini memungkinkan tidak hanya untuk mempertahankan pose dari gambar asli, tetapi juga untuk memperluas informasi identifikasi.

Skema pendekatan yang diusulkan:



Eksperimen menunjukkan bahwa algoritma PIVL secara signifikan meningkatkan kinerja rekonstruksi wajah 3D dibandingkan dengan metode sebelumnya, terutama dalam pose kompleks.

Pertimbangkan model yang diusulkan secara lebih rinci.

Deskripsi Metode

Metode PIVL sangat bergantung pada proses pemasangan 3DMM, yang dapat dinyatakan sebagai meminimalkan kesalahan dalam menghitung koordinat proyeksi 3D poin-poin utama. Namun, wajah yang dibuat oleh model 3D memiliki sekitar 50.000 simpul, dan oleh karena itu perhitungan berulang menyebabkan konvergensi yang lambat dan tidak efisien.

Untuk mengatasi masalah ini, peneliti menyarankan menggunakan titik-titik kunci (misalnya, pusat mata, sudut mulut dan ujung hidung) sebagai kebenaran utama dalam proses pemasangan topeng. Secara khusus, referensi 3DMM tertimbang digunakan.


Baris atas: gambar asli dan tengara. Baris bawah: model wajah 3D dan penyelarasannya pada gambar 2D

Tugas selanjutnya adalah membuat ulang masker wajah 3D secara close-up. Untuk mengatasi masalah ini, peneliti menggunakan metode normalisasi presisi tinggi postur dan ekspresi (VNPV) , tetapi untuk menormalkan hanya postur, bukan ekspresi wajah. Selain itu, pengeditan Poisson digunakan untuk mengembalikan area wajah yang tertutup karena sudut pandang.

Perbandingan kinerja dengan metode lain

Efektivitas metode PIVL dievaluasi untuk membuat ulang wajah:

1. dalam pose kecil dan menengah;
2. close-up;
3. postur kompleks (sudut deviasi ± 90).

Untuk ini, para peneliti menggunakan tiga set data publik :

• Dataset AFW yang dibuat menggunakan gambar Flickr berisi 205 gambar dengan 468 wajah bertanda, latar belakang kompleks, dan pose wajah.
• Dataset LFPW yang berisi 224 gambar wajah dalam satu set tes dan 811 gambar wajah dalam satu set pelatihan; setiap gambar ditandai dengan 68 titik karakteristik; 900 gambar dari kedua set dipilih untuk pengujian dalam penelitian ini.
• AFLW Dataset adalah basis data wajah skala besar yang berisi sekitar 250 juta gambar dengan tag tangan, dan setiap gambar ditandai dengan 21 titik fitur. Dalam penelitian ini, hanya gambar dalam posisi wajah yang kompleks dari dataset ini yang digunakan untuk analisis kualitatif.
  

Analisis kuantitatif

Dengan menggunakan Euclidean Average Metric (CEM), penelitian ini membandingkan kinerja metode PIFR dengan E-3DMM dan FW-3DMM dalam kumpulan data AFW dan lfpw. Kurva distribusi kesalahan kumulatif (RNO) adalah sebagai berikut:


Perbandingan kurva distribusi kesalahan kumulatif (RNO) dalam dataset AFW dan LFPW

Seperti dapat dilihat dari grafik dan tabel di bawah ini, metode PIVL menunjukkan efisiensi yang unggul dibandingkan dengan dua metode lainnya. Yang sangat baik adalah efektivitas rekreasi untuk close-up.

Analisis Kualitatif

Metode ini juga dievaluasi secara kualitatif berdasarkan foto wajah pada posisi yang berbeda dari dataset AFLW. Hasilnya ditunjukkan pada gambar di bawah ini.


Perbandingan rekonstruksi wajah 3D: (a) gambar asli; (B) FW-3DMM; (c) E-3DMM; (D) pendekatan yang diusulkan

Sekalipun setengah dari landmark tidak terlihat karena postur non-sepele, yang mengarah pada kesalahan besar dan kegagalan metode lain, metode PIFR tetap bekerja dengan baik.

Di bawah ini adalah contoh tambahan tentang keefektifan metode PIVL berdasarkan gambar dari dataset AFW.


Baris atas: input gambar 2D. Baris tengah: topeng 3D. Baris bawah: penyelarasan mask

Ringkasan

Algoritma rekonstruksi wajah PIVL baru memberikan hasil rekonstruksi yang baik bahkan dalam pose kompleks. Menerima gambar sumber dan depan untuk penggabungan berbobot, metode ini memungkinkan Anda untuk mengembalikan informasi yang cukup tentang wajah untuk membuat ulang topeng 3D.

Di masa depan, para peneliti berencana untuk mengembalikan lebih banyak informasi tentang wajah untuk meningkatkan akurasi rekonstruksi topeng.

Asli

Diterjemahkan - Farid Gasratov