الحصول على نموذج ثلاثي الأبعاد للتحويل لوجه بناءً على صورة من زاوية اعتباطية

مرحبا يا هبر! أقدم لكم ترجمة مقالة " تعلم نموذج الوجه ثلاثي الأبعاد الموروثابل من صور ثنائية الأبعاد ".



إن النموذج المجهري ثلاثي الأبعاد للوجه (3D Morphable Model ، المشار إليه فيما يلي بـ 3DMM) هو نموذج إحصائي لبنية وملمس الوجه ، والذي يستخدم من خلال رؤية الكمبيوتر ورسومات الكمبيوتر ، في تحليل السلوك البشري وفي الجراحة التجميلية.

إن تفرد كل ميزة وجه تجعل من النمذجة لوجه بشري مهمة غير تافهة . يتم إنشاء 3DMM للحصول على نموذج وجه في مساحة من المراسلات الصريحة. وهذا يعني وجود تطابق نسبي بين النموذج الناتج والنماذج الأخرى التي تسمح بالتحول. بالإضافة إلى ذلك ، يجب أن تنعكس التحولات ذات المستوى المنخفض ، مثل الاختلافات بين وجه الذكر وتعبير الوجه المحايد من الابتسامة ، في 3DMM.



يقدم باحثون من جامعة ميشيغان أحدث طريقة للتعلم العميق 3DMM. باستخدام الكفاءة العالية للشبكات العصبية العميقة لتنفيذ التعيينات غير الخطية ، تسمح طريقتهم بالحصول على 3DMM بناءً على صورة ثنائية الأبعاد تم التقاطها في بيئة عشوائية.

النهج السابقة

عادةً ، يتم الحصول على صور ثلاثية الأبعاد باستخدام مجموعة من عمليات مسح الوجه ثلاثية الأبعاد ومجموعة من الصور ثنائية الأبعاد لنفس الوجوه. النهج المقبول بشكل عام هو استخدام تقليل الأبعاد في التدريس مع المعلم ، والذي يتم باستخدام تحليل المكونات الرئيسية (PCA) على مجموعة بيانات تدريبية تتكون من عمليات مسح ثلاثية الأبعاد للوجوه والصور المقابلة ثنائية الأبعاد. عند استخدام النماذج الخطية مثل PCA ، لا يمكن أن تنعكس التحولات غير الخطية واختلافات الوجه في 3DMM. علاوة على ذلك ، من أجل وضع نماذج ثلاثية الأبعاد دقيقة للوجوه ، يلزم قدر كبير من "المعلومات ثلاثية الأبعاد". وبالتالي ، فإن استخدام هذا النهج غير فعال.

الطريقة المقترحة

فكرة الطريقة المقترحة هي استخدام الشبكات العصبية العميقة أو ، بشكل أكثر تحديدًا ، الشبكات العصبية التلافيفية (التي تكون مناسبة بشكل أفضل للمشكلة قيد النظر وأقل تكلفة من حيث الوقت الحسابي من المتصورات متعددة الطبقات) للحصول على 3DMM. تلتقط الشبكة العصبية للتشفير (التشفير) صورة الوجه كمدخل وتولد معلمات نسيج الوجه والألبيدو التي تقيّم بها شبكتان عصبيتان لفك التشفير (وحدات فك التشفير) الملمس والأبيض.

كما ذكرنا سابقًا ، فإن 3DMM الخطي لديه عدد من المشاكل ، مثل الحاجة إلى مسح الوجه ثلاثي الأبعاد ، وعدم القدرة على استخدام الصور المأخوذة من زاوية عشوائية ، والدقة المحدودة للعرض التقديمي بسبب استخدام PCA الخطي. في المقابل ، تسمح الطريقة المقترحة بالحصول على نموذج 3DMM غير خطي يعتمد على صور ثنائية الأبعاد لوجوه عالية الدقة ، مأخوذة من زاوية عشوائية .

منظر مستو

في نهجهم ، يستخدم الباحثون خريطة وجه ثنائية الأبعاد مفصلة لتمثيل نسيجها والأبيض. يجادلون بأن أخذ المعلومات المكانية في الاعتبار يلعب دورًا مهمًا ، نظرًا لأنهم يستخدمون الشبكات العصبية التلافيفية ، وتحتوي الصور الأمامية للوجه على معلومات قليلة عن الجوانب. هذا هو السبب في أن اختيارهم وقع على التمثيل المستوي.

ثلاث وجهات نظر مختلفة من البياض. (أ) - تمثيل ثلاثي الأبعاد ، (ج) - البياض كصورة أمامية ثنائية الأبعاد للوجه ، (ج) - تمثيل مستو.

منظر مستو. x ، y ، z وتمثيل موجز للملمس.

معمارية الشبكة العصبية

صمم الباحثون شبكة عصبية ، تأخذ صورة كمدخل ، لتشفيرها إلى ناقل الملمس والأبيض والإضاءة. يتم فك ترميز النواقل المخفية المشفرة للبيدو والملمس باستخدام جهازي فك رموز يستخدمان الشبكات العصبية التلافيفية. عند الإخراج ، تعطي أجهزة فك التشفير وهج الوجه ، البياض وملمس الوجه ثلاثي الأبعاد. باستخدام هذه المعلمات ، تولد طبقة تجسيد مختلفة نموذج وجه من خلال الجمع بين ملمس ثلاثي الأبعاد ، والأبيض ، والإضاءة ، ومعلمات موقع الكاميرا التي يحصل عليها المشفر. يتم تقديم الهندسة المعمارية في الرسم البياني أدناه.

بنية الطريقة المقترحة للحصول على 3DMM غير الخطي

يمكن استخدام 3DMM غير الخطي المستقر الناتج لتداخل الوجه ثنائي الأبعاد وحل مشكلة إعادة بناء الوجه ثلاثي الأبعاد.

تقديم تخطيط الطبقة

مقارنة مع الطرق الأخرى

تمت مقارنة الطريقة قيد النظر مع الطرق الأخرى باستخدام المهام التالية كمثال: تراكب ثنائي الأبعاد ، وإعادة بناء الوجه ثلاثي الأبعاد والتحرير . الطريقة المقترحة متفوقة على الأساليب الحديثة الأخرى لحل هذه المشاكل. يتم عرض نتائج المقارنة أدناه.

تراكب الوجه ثنائي الأبعاد

أحد تطبيقات الطريقة هو تراكب الوجه ، والذي يجب أن يحسن بشكل كبير تحليل الوجوه في عدد من المهام (على سبيل المثال ، التعرف على الوجه). إن فرض الوجه ليس مهمة سهلة ، ولكن الطريقة قيد النظر تظهر نتائج عالية عند حلها.

نتائج تراكب ثنائية الأبعاد. يتم تمييز العلامات غير المرئية باللون الأحمر. تعكس الطريقة قيد النظر المواقف غير العادية والإضاءة وتعبيرات الوجه.

إعادة بناء الوجه ثلاثي الأبعاد

تمت مقارنة الطريقة قيد النظر أيضًا باستخدام إعادة بناء الوجه ثلاثي الأبعاد وأظهرت نتائج رائعة مقارنة بالطرق الأخرى.

مقارنة كمية لنتائج إعادة الإعمار ثلاثية الأبعاد

نتائج إعادة البناء ثلاثية الأبعاد بالمقارنة مع طريقة Sela et al. الطريقة المقترحة توفر شعر الوجه وميزات الوجه الأخرى أفضل بكثير من هذه الطريقة.

نتائج إعادة الإعمار ثلاثية الأبعاد بالمقارنة مع VRN من جاكسون وآخرين على سبيل المثال لمجموعة بيانات CelebA الشهيرة.

نتائج إعادة البناء ثلاثية الأبعاد بالمقارنة مع طريقة Tewari وغيرها ، كما ترى ، الطريقة المقترحة تحل مشكلة ضغط الوجه في وجود مواد مختلفة (مثل شعر الوجه).

تحرير الوجه

تعمل الطريقة التي تمت مناقشتها على تقسيم صورة الوجه إلى عناصر منفصلة وتسمح لك بتغيير الوجه من خلال معالجتها. تم تقييم نتائج هذه الطريقة عند تحرير الوجوه على سبيل المثال لمهام مثل تغيير الإضاءة وإضافة عناصر وجه إضافية.

نتائج إضافة لحية. يحتوي العمود الأول على الصورة الأصلية ، والخطوة التالية - درجات مختلفة من اللحية.

مقارنة مع طريقة شو وآخرون (السطر الثاني). كما ترون ، فإن الطريقة المقترحة تعطي صورًا أكثر واقعية ، بالإضافة إلى ذلك ، يتم الحفاظ على هوية الوجه بشكل أفضل.

الخلاصة

من المفترض ، سيتم استخدام الطريقة المقترحة على نطاق واسع ، لأنها تتيح لك الحصول على 3DMM دقيق ومستقر. على الرغم من انتشار 3DMM على نطاق واسع منذ بدايته ، حتى ظهور الطريقة المعنية ، لم تكن هناك طريقة فعالة للحصول على هذا النموذج باستخدام صور ثنائية الأبعاد من زاوية اعتباطية.

تستخدم الطريقة المقترحة الشبكات العصبية العميقة كمقارب للنمذجة المستدامة للوجوه البشرية بكل ميزاتها. تتيح لك هذه الطريقة غير المعتادة للحصول على 3DMM معالجة الصورة ويمكن استخدامها في العديد من المهام ، والتي تم تقديم بعضها إلى المقالة.

ترجمة - بوريس روميانتسيف.