نقدم انتباهكم ترجمة المقالة "
PIFR: Pose Invariant 3D Face Reconstruction ".
في العديد من التطبيقات الواقعية ، بما في ذلك اكتشاف الوجه والتعرف عليه ، وإنشاء الرموز ثلاثية الأبعاد والملصقات ، يجب استعادة هندسة الوجه من الصور المسطحة. ومع ذلك ، تظل هذه المهمة صعبة ، لا سيما عندما تكون معظم المعلومات حول الوجه غير معروفة.
يقدم كل من Jiang and Wu من جامعة Jiannan (الصين) و Kittler من جامعة Surrey (بريطانيا العظمى)
خوارزمية جديدة لإعادة إعمار الوجه ثلاثي الأبعاد - PIFR ، مما يزيد بشكل كبير من دقة إعادة الإعمار حتى في المواقف الصعبة.
ولكن دعونا أولاً نراجع بإيجاز العمل السابق بشأن الأقنعة ثلاثية الأبعاد وإعادة بناء الوجه.
أحدث الدراسات
يذكر المؤلفون أربع طرق متاحة عادةً لتحويل قناع ثلاثي الأبعاد:
تستخدم المقالة نموذج BML ، وهو الأكثر شعبية.
هناك عدة طرق لإعادة إنشاء نموذج ثلاثي الأبعاد من صورة مسطحة ، بما في ذلك:
الطريقة المقترحة - PIFR
تقترح المقالة التي أعدها Jiang و Wu و Kitler إعادة بناء الوجه ثلاثي الأبعاد Pose-Invariant (PIFR) جديدة استنادًا إلى طريقة 3DMM.
أولاً ، يقترح المؤلفون إنشاء صورة أمامية ، وتطبيع صورة وجه واحدة. تتيح لك هذه الخطوة استعادة معلومات الهوية الإضافية للشخص.
والخطوة التالية هي استخدام المبلغ المرجح لميزات ثلاثية الأبعاد لصورتين: الأمامية والمصدر. هذا لا يسمح فقط بالحفاظ على الصورة الأصلية ، ولكن أيضًا توسيع معلومات التعريف.
مخطط النهج المقترح:
تُظهر التجارب أن خوارزمية PIVL قد حسنت بشكل كبير أداء إعادة بناء الوجه ثلاثي الأبعاد مقارنة بالطرق السابقة ، خاصة في الحالات المعقدة.
النظر في النموذج المقترح بمزيد من التفصيل.
وصف الطريقة
تعتمد طريقة PIVL اعتمادًا كبيرًا على عملية تركيب 3DMM ، والتي يمكن التعبير عنها على أنها تقليل الخطأ في حساب إحداثيات الإسقاطات ثلاثية الأبعاد للنقاط الرئيسية. ومع ذلك ، فإن الوجه الذي تم إنشاؤه بواسطة النموذج ثلاثي الأبعاد يحتوي على حوالي 50،000 رأس ، وبالتالي تؤدي الحسابات التكرارية إلى تقارب بطيء وغير فعال.
للتغلب على هذه المشكلة ، يقترح الباحثون استخدام النقاط الرئيسية (على سبيل المثال ، مركز العين وزاوية الفم وطرف الأنف) كحقيقة رئيسية في عملية تركيب القناع. على وجه الخصوص ، يتم استخدام مرجع مرجح ثلاثي الأبعاد.
الصف العلوي: الصورة الأصلية والمعالم. الصف السفلي: نموذج الوجه ثلاثي الأبعاد ومواءمته على صورة ثنائية الأبعادالمهمة التالية هي إعادة إنشاء قناع وجه ثلاثي الأبعاد عن قرب. لحل هذه المشكلة ، يستخدم الباحثون
طريقة التطبيع عالية الدقة للموقف والتعبير (VNPV) ، ولكن لتطبيع الموقف فقط ، وليس تعبيرات الوجه. بالإضافة إلى ذلك ،
يتم استخدام
تحرير Poisson لاستعادة مساحة الوجه المغلق بسبب زاوية المشاهدة.
مقارنة الأداء مع الطرق الأخرى
تم تقييم فعالية طريقة PIVL لإعادة إنشاء الوجه:
- في يطرح الصغيرة والمتوسطة.
- عن قرب
- المواقف المعقدة (زوايا الانحراف ± 90).
لهذا ، استخدم الباحثون
ثلاث مجموعات بيانات عامة :
- تحتوي مجموعة بيانات AFW التي تم إنشاؤها باستخدام صور Flickr على 205 صور ذات 468 وجهًا ملحوظًا ، وخلفيات معقدة ، وتشكل وجهًا.
- مجموعة بيانات LFPW تحتوي على 224 صورة من الوجوه في مجموعة اختبار و 811 صورة من الوجوه في مجموعة تدريب ؛ تتميز كل صورة بـ 68 نقطة مميزة ؛ تم اختيار 900 صورة من المجموعتين للاختبار في هذه الدراسة.
- تعد AFLW Dataset قاعدة بيانات للوجه على نطاق واسع تحتوي على حوالي 250 مليون صورة تحمل علامات باليد ، ويتم تمييز كل صورة بـ 21 نقطة ميزة. في هذه الدراسة ، تم استخدام الصور في المواضع المعقدة للوجه من مجموعة البيانات هذه للتحليل النوعي.
التحليل الكمي
باستخدام مقياس الإقليدية (CEM) ، تقارن الدراسة أداء طريقة PIFR مع E-3DMM و FW-3DMM في مجموعات بيانات AFW و lfpw. منحنيات توزيع الخطأ التراكمي (RNO) هي كما يلي:
مقارنة منحنيات توزيع الخطأ التراكمي (RNO) في مجموعة بيانات AFW و LFPWكما يتضح من هذه الرسوم البيانية والجداول أدناه ، فإن طريقة PIVL تظهر كفاءة فائقة مقارنة بالطريقتين الأخريين. جيد بشكل خاص هو فعالية الترفيه عن قرب.
التحليل النوعي
تم تقييم الطريقة أيضًا على أساس نوعي على صور الوجوه في مواضع مختلفة من مجموعة بيانات AFLW. وتظهر النتائج في الشكل أدناه.
مقارنة إعادة بناء الوجه ثلاثي الأبعاد: (أ) الصورة الأصلية ؛ (ب) FW-3DMM ؛ (ج) E-3DMM ؛ (د) النهج المقترححتى لو كان نصف المعالم غير مرئي بسبب وضع غير تافه ، مما يؤدي إلى أخطاء كبيرة وفشل طرق أخرى ، فإن طريقة PIFR لا تزال تعمل بشكل جيد.
فيما يلي أمثلة إضافية لفعالية طريقة PIVL استنادًا إلى صور من مجموعة بيانات AFW.
الصف العلوي: إدخال الصورة 2D. الصف الأوسط: قناع ثلاثي الأبعاد. الصف السفلي: قناع المحاذاة
ملخص
توفر خوارزمية إعادة بناء الوجه PIVL الجديدة نتائج جيدة لإعادة الإعمار حتى في الحالات المعقدة. بقبول كل من الصور المصدر والواجهة للدمج المرجح ، تتيح لك الطريقة استعادة معلومات كافية عن الوجوه لإعادة إنشاء قناع ثلاثي الأبعاد.
في المستقبل ، يخطط الباحثون لاستعادة المزيد من المعلومات حول الوجه من أجل زيادة دقة إعادة بناء القناع.
الأصليترجمة - فريد جاسراتوف