एक मनमाना कोण से एक तस्वीर के आधार पर एक चेहरे के एक morphing 3D मॉडल को प्राप्त करना

नमस्कार, हेब्र! मैं आपके लिए लेख " 3D फेस मॉर्चेबल मॉडल आउट ऑफ़ 2 डी इमेजस " सीखना लेख का अनुवाद प्रस्तुत करता हूँ।



चेहरे का त्रि-आयामी आकृति वाला मॉडल (3D Morphable Model, इसके बाद 3DMM) चेहरे की संरचना और बनावट का एक सांख्यिकीय मॉडल है, जिसका उपयोग कंप्यूटर विज़न, कंप्यूटर ग्राफिक्स, मानव व्यवहार के विश्लेषण और प्लास्टिक सर्जरी में किया जाता है।

प्रत्येक चेहरे की विशिष्टता की विशिष्टता मॉडलिंग को मानव चेहरे को गैर-तुच्छ कार्य बनाती है । 3DMM स्पष्ट पत्राचार के एक स्थान में एक चेहरा मॉडल प्राप्त करने के लिए बनाया गया है। इसका मतलब परिणामी मॉडल और अन्य मॉडलों के बीच एक बिंदुवार पत्राचार है जो मॉर्फिंग की अनुमति देता है। इसके अलावा, निम्न-स्तरीय परिवर्तनों, जैसे कि एक पुरुष चेहरे और एक महिला के बीच का अंतर, एक मुस्कान से तटस्थ चेहरे की अभिव्यक्ति, 3 डीएमएम में परिलक्षित होना चाहिए।



मिशिगन विश्वविद्यालय के शोधकर्ता नवीनतम गहन शिक्षण 3DMM विधि प्रदान करते हैं। गैर-रेखीय मैपिंग को लागू करने के लिए गहरे तंत्रिका नेटवर्क की उच्च दक्षता का उपयोग करते हुए, उनकी विधि एक मनमाने वातावरण में कैप्चर की गई 2 डी छवि के आधार पर 3 डीएमएम प्राप्त करने की अनुमति देती है।

पहले दृष्टिकोण

आमतौर पर, 3DMM को 3D फेस स्कैन और समान चेहरों के 2D चित्रों के सेट का उपयोग करके प्राप्त किया जाता है। आम तौर पर स्वीकृत दृष्टिकोण एक शिक्षक के साथ शिक्षण में आयामी कमी का उपयोग करना है, जो 3 डी फेस स्कैन और इसी 2 डी छवियों से मिलकर एक प्रशिक्षण डेटा सेट पर प्रिंसिपल कंपोनेंट एनालिसिस (पीसीए) का उपयोग करके किया जाता है। पीसीए जैसे रैखिक मॉडल का उपयोग करते समय, 3 डीएमएम में नॉनलाइनियर ट्रांसफॉर्मेशन और चेहरे की विविधताएं प्रतिबिंबित नहीं की जा सकती हैं। इसके अलावा, चेहरे के सटीक 3D बनावट के मॉडलिंग के लिए, "3D जानकारी" की एक बड़ी मात्रा की आवश्यकता होती है। इस प्रकार, इस दृष्टिकोण का उपयोग अप्रभावी है।

प्रस्तावित विधि

प्रस्तावित पद्धति का विचार गहन तंत्रिका नेटवर्क का उपयोग करना है या, अधिक विशेष रूप से, दोषपूर्ण तंत्रिका नेटवर्क (जो विचार के तहत समस्या के लिए बेहतर अनुकूल हैं और बहुपरत अवधारणात्मक की तुलना में कम्प्यूटेशनल समय के मामले में कम महंगे हैं) 3 डीएमएम प्राप्त करते हैं। एक कोडिंग तंत्रिका नेटवर्क (एनकोडर) एक इनपुट के रूप में एक चेहरे की छवि लेता है और चेहरे की बनावट और अल्बेडो मापदंडों को उत्पन्न करता है जिसके साथ दो डिकोडिंग तंत्रिका नेटवर्क (डिकोडर्स) बनावट और अल्बेडो का मूल्यांकन करते हैं।

जैसा कि पहले उल्लेख किया गया है, रैखिक 3 डीएमएम में कई समस्याएं हैं, जैसे कि 3 डी फेस स्कैन की आवश्यकता, एक मनमाना कोण से ली गई छवियों का उपयोग करने में असमर्थता और रैखिक पीसीए के उपयोग के कारण प्रस्तुति की सीमित सटीकता। बदले में, प्रस्तावित विधि एक गैर-कोण 3DMM मॉडल प्राप्त करने की अनुमति देती है जो उच्च-रिज़ॉल्यूशन वाले चेहरे की 2D छवियों के आधार पर, एक मध्यस्थ कोण से ली गई है ।

तलीय दृश्य

अपने दृष्टिकोण में, शोधकर्ता इसकी बनावट और अल्बेडो का प्रतिनिधित्व करने के लिए एक विस्तृत 2 डी फेस मैप का उपयोग करते हैं। उनका तर्क है कि स्थानिक जानकारी को ध्यान में रखते हुए एक महत्वपूर्ण भूमिका निभाई जाती है, क्योंकि वे दृढ़ तंत्रिका नेटवर्क का उपयोग करते हैं, और चेहरे की ललाट छवियों में पक्षों के बारे में बहुत कम जानकारी होती है। यही कारण है कि उनकी पसंद प्लानर प्रतिनिधित्व पर गिर गई।

अल्बेडो के तीन अलग-अलग दृश्य। (ए) - 3 डी प्रतिनिधित्व, (सी) - एल्बिडो एक चेहरे की 2 डी ललाट छवि के रूप में, (सी) - प्लेनर प्रतिनिधित्व।

तलीय दृश्य। x, y, z और बनावट का सारांश प्रतिनिधित्व।

तंत्रिका नेटवर्क वास्तुकला

शोधकर्ताओं ने एक तंत्रिका नेटवर्क को डिज़ाइन किया, जो एक छवि को एक इनपुट के रूप में लेता है, इसे बनावट, अल्बेडो और प्रकाश व्यवस्था के वेक्टर में एन्कोड करता है। अल्बेडो और बनावट के लिए कोडित छिपे हुए वैक्टर को दो डिकोडर का उपयोग करके डिकोड किया जाता है, जो कि संवेदी तंत्रिका नेटवर्क का उपयोग किया जाता है। आउटपुट पर, डिकोडर चेहरे की चमक, इसके अल्बेडो और 3 डी चेहरे की बनावट को बाहर कर देते हैं। इन मापदंडों का उपयोग करते हुए, एक अलग करने योग्य रेंडरिंग परत एनकोडर द्वारा प्राप्त 3 डी बनावट, अल्बेडो, लाइटिंग और कैमरा लोकेशन मापदंडों को मिलाकर एक फेस मॉडल तैयार करती है। नीचे दिए गए आरेख में वास्तुकला को प्रस्तुत किया गया है।

Nonlinear 3DMM प्राप्त करने के लिए प्रस्तावित विधि की वास्तुकला

परिणामस्वरूप स्थिर गैर-रैखिक 3DMM का उपयोग 2D फेस ओवरलैपिंग और तीन-आयामी फेस पुनर्निर्माण की समस्या को हल करने के लिए किया जा सकता है।

परत लेआउट का प्रतिपादन

अन्य तरीकों के साथ तुलना

विचाराधीन विधि की तुलना उदाहरण के रूप में निम्नलिखित कार्यों का उपयोग करते हुए अन्य विधियों के साथ की गई: 2 डी ओवरले, 3 डी फेस पुनर्निर्माण और संपादन । इन समस्याओं के समाधान के लिए प्रस्तावित पद्धति अन्य आधुनिक दृष्टिकोणों से बेहतर है। तुलना परिणाम नीचे प्रस्तुत किए गए हैं।

2 डी चेहरा ओवरले

विधि के अनुप्रयोगों में से एक चेहरा ओवरले है, जो कई कार्यों (उदाहरण के लिए, चेहरे की पहचान) में चेहरे के विश्लेषण में काफी सुधार करना चाहिए। फेशियल लगाना कोई आसान काम नहीं है, लेकिन विचाराधीन विधि इसे हल करते समय उच्च परिणाम दिखाती है।

2 डी ओवरले परिणाम। अदृश्य चिह्नों को लाल रंग में चिह्नित किया जाता है। विचाराधीन विधि असामान्य आसन, प्रकाश और चेहरे के भाव को दर्शाती है।

3 डी चेहरा पुनर्निर्माण

विचाराधीन विधि की तुलना 3 डी चेहरे के पुनर्निर्माण का उपयोग करके भी की गई और अन्य तरीकों की तुलना में उत्कृष्ट परिणाम दिखाए गए।

3 डी पुनर्निर्माण परिणामों की मात्रात्मक तुलना

सेला एट अल की विधि की तुलना में 3 डी पुनर्निर्माण के परिणाम। प्रस्तावित विधि चेहरे के बालों और चेहरे की अन्य विशेषताओं को इस विधि की तुलना में बहुत बेहतर तरीके से बचाती है।

जैक्सन के वीआरएन और अन्य लोगों के साथ प्रसिद्ध सेलेबए डेटासेट के उदाहरण पर 3 डी पुनर्निर्माण के परिणाम।

तिवारी और अन्य की विधि की तुलना में 3 डी पुनर्निर्माण के परिणाम। जैसा कि आप देख सकते हैं, प्रस्तावित विधि विभिन्न बनावट (जैसे चेहरे के बाल) की उपस्थिति में चेहरे को संपीड़ित करने की समस्या को हल करती है।

चेहरा संपादन

चर्चा की गई विधि चेहरे की छवि को अलग-अलग तत्वों में तोड़ती है और आपको हेरफेर करके चेहरे को बदलने की अनुमति देती है। इस पद्धति के परिणाम जब संपादन चेहरे का मूल्यांकन ऐसे कार्यों के उदाहरण पर किया गया था, जिसमें प्रकाश व्यवस्था को बदलना और अतिरिक्त चेहरे तत्वों को जोड़ना था।

दाढ़ी जोड़ने के परिणाम। पहले कॉलम में मूल छवि है, दाढ़ी में परिवर्तन की अगली - अलग डिग्री।

शू एट अल की विधि के साथ तुलना। (दूसरी पंक्ति)। जैसा कि आप देख सकते हैं, प्रस्तावित विधि अधिक यथार्थवादी छवियां देती है, और इसके अलावा, चेहरे की पहचान बेहतर संरक्षित है।

निष्कर्ष

प्रस्तावित विधि, संभवतः, व्यापक रूप से उपयोग की जाएगी, क्योंकि यह आपको सटीक और स्थिर 3DMM प्राप्त करने की अनुमति देती है। यद्यपि 3DMM अपनी स्थापना से व्यापक था, लेकिन प्रश्न में विधि के आगमन तक, इस मॉडल को एक मनमाने कोण से 2D छवियों का उपयोग करके प्राप्त करने का कोई प्रभावी तरीका नहीं था।

प्रस्तावित विधि अपने सभी विशेषताओं के साथ मानव चेहरे के स्थायी मॉडलिंग के लिए एक सन्निकट के रूप में गहरे तंत्रिका नेटवर्क का उपयोग करती है। 3DMM प्राप्त करने का ऐसा असामान्य तरीका आपको छवि में हेरफेर करने की अनुमति देता है और इसका उपयोग कई कार्यों में किया जा सकता है, जिनमें से कुछ को लेख में प्रस्तुत किया गया था।

अनुवाद- बोरिस रुम्यंतसेव।