तस्वीरों से चेहरे का 3 डी पुनर्निर्माण और वीडियो का उपयोग करते हुए उनका एनीमेशन। यैंडेक्स में व्याख्यान

फिल्म मिशन इम्पॉसिबल 3 में, प्रसिद्ध जासूस मास्क बनाने की प्रक्रिया को दिखाया गया था, जिसकी बदौलत कुछ पात्र दूसरों के लिए अविभाज्य बन जाते हैं। कथानक के अनुसार, सबसे पहले उस व्यक्ति की तस्वीर लगाना आवश्यक था, जिसे नायक कई कोणों से बदलना चाहता था। 2018 में, एक साधारण 3 डी फेस मॉडल भी मुद्रित नहीं किया जा सकता है, लेकिन कम से कम डिजिटल रूप में बनाया गया है - और सिर्फ एक फोटो पर आधारित है। एक विज़नलैब्स शोधकर्ता ने डेटा और विज्ञान श्रृंखला से यैंडेक्स घटना " रोबोट की आंखों के माध्यम से दुनिया " में प्रक्रिया का विस्तार से वर्णन किया है, जिसमें विशिष्ट तरीकों और सूत्रों पर विवरण है।


- शुभ दोपहर। मेरा नाम निकोलाई है, मैं विज़नलैब्स, एक कंप्यूटर विज़न कंपनी के लिए काम करता हूं। हमारी मुख्य प्रोफ़ाइल चेहरा पहचान है, लेकिन हमारे पास ऐसी तकनीकें भी हैं जो संवर्धित और आभासी वास्तविकता में लागू हैं। विशेष रूप से, हमारे पास एक फोटो से 3 डी चेहरे के निर्माण के लिए एक तकनीक है, और आज मैं इसके बारे में बात करूंगा।



आइए एक कहानी से शुरू करें कि यह क्या है। स्लाइड पर आप जैक मा की मूल तस्वीर और इस तस्वीर से दो रूपों में निर्मित एक 3D मॉडल देखते हैं: बनावट के साथ और बिना, बस ज्यामिति। यह वह कार्य है जिसे हम हल कर रहे हैं।



हम इस मॉडल को चेतन करने में भी सक्षम होना चाहते हैं, हमारे टकटकी की दिशा बदल सकते हैं, चेहरे की अभिव्यक्ति, चेहरे के भाव जोड़ सकते हैं, आदि

आवेदन विभिन्न क्षेत्रों में है। सबसे स्पष्ट खेल वीआर सहित हैं। आप वर्चुअल फिटिंग रूम भी कर सकते हैं - चश्मा, दाढ़ी और हेयर स्टाइल पर प्रयास करें। आप 3 डी प्रिंटिंग कर सकते हैं, क्योंकि कुछ लोग अपने चेहरे के लिए व्यक्तिगत सामान में रुचि रखते हैं। और आप रोबोट के लिए चेहरे बना सकते हैं: रोबोट पर कुछ डिस्प्ले पर प्रिंट और शो दोनों।



मैं आपको यह बताकर शुरू करूंगा कि सामान्य रूप से 3 डी चेहरे कैसे उत्पन्न करें, और फिर हम एक अदृश्य पीढ़ी के कार्य के रूप में 3 डी पुनर्निर्माण के कार्य पर आगे बढ़ेंगे। उसके बाद, हम एनीमेशन पर ध्यान केंद्रित करेंगे और इस क्षेत्र में आने वाली चुनौतियों पर आगे बढ़ेंगे।



चेहरे बनाने का काम क्या है? हम त्रि-आयामी चेहरों को उत्पन्न करने के लिए कुछ तरीका चाहते हैं जो आकार और अभिव्यक्ति में भिन्न हों। यहाँ उदाहरणों के साथ दो पंक्तियाँ हैं। पहली पंक्ति अलग-अलग आकृतियों के चेहरों को दिखाती है, जैसे कि अलग-अलग लोगों को। और नीचे एक ही चेहरा एक अलग अभिव्यक्ति के साथ है।



पीढ़ी की समस्या को हल करने का एक तरीका विकृत मॉडल है। स्लाइड पर बाईं ओर का चेहरा एक प्रकार का औसत मॉडल है, जिसमें हम स्लाइडर्स को समायोजित करके विकृति लागू कर सकते हैं। यहाँ तीन स्लाइडर्स हैं। ऊपरी पंक्ति में स्लाइडर की तीव्रता बढ़ाने की दिशा में चेहरे होते हैं, निचली पंक्ति में - घटने की दिशा में। इस प्रकार, हमारे पास कई अनुकूलन पैरामीटर होंगे। उन्हें स्थापित करके, आप लोगों को विभिन्न आकार दे सकते हैं।



एक विकृत मॉडल का एक उदाहरण प्रसिद्ध बेसल फेस मॉडल है, जिसे फेस स्कैन से बनाया गया है। एक विकृत मॉडल का निर्माण करने के लिए, आपको पहले कुछ लोगों को लेने की जरूरत है, उन्हें एक विशेष प्रयोगशाला में लाएं और विशेष उपकरणों के साथ उनके चेहरे को शूट करें, उन्हें 3 डी में अनुवाद करें। फिर, इसके आधार पर, आप नए चेहरे बना सकते हैं।



इसे गणितीय रूप से कैसे व्यवस्थित किया जाता है? हम 3-आयामी अंतरिक्ष में एक वेक्टर के रूप में एक चेहरे के तीन आयामी मॉडल की कल्पना कर सकते हैं। यहां n मॉडल में कोने की संख्या है, प्रत्येक शीर्ष 3 डी में तीन निर्देशांक से मेल खाती है, और इस प्रकार हमें 3n निर्देशांक मिलते हैं।



यदि हमारे पास स्कैन का एक सेट है, तो प्रत्येक स्कैन को ऐसे वेक्टर द्वारा दर्शाया जाता है, और हमारे पास ऐसे n वैक्टर का एक सेट होता है।

इसके अलावा, हम अपने डेटाबेस से वैक्टर के रैखिक संयोजनों के रूप में नए चेहरे का निर्माण कर सकते हैं। साथ ही, हम चाहेंगे कि गुणांक सार्थक हो। जाहिर है, वे पूरी तरह से मनमानी नहीं कर सकते हैं, और मैं जल्द ही दिखाऊंगा कि क्यों। प्रतिबंधों में से एक को सेट किया जा सकता है ताकि सभी गुणांक 0 से 1 तक की सीमा में हों। यह किया जाना चाहिए, क्योंकि यदि गुणांक पूरी तरह से मनमाना है, तो चेहरे असंगत हो जाएंगे।



यहां मैं मापदंडों को कुछ संभाव्य अर्थ देना चाहूंगा। यही है, हम मापदंडों के एक सेट को देखना चाहते हैं और समझना चाहते हैं कि किसी व्यक्ति को बाहर करने की संभावना है या नहीं। इसके द्वारा हम विकृत चेहरों के अनुरूप कम विकृतियाँ चाहते हैं।



यहाँ यह कैसे करना है। हम स्कैन के सेट पर प्रमुख घटक विधि लागू कर सकते हैं। आउटपुट में, हमें औसत चेहरा S0 मिलता है, मैट्रिक्स V प्राप्त होता है, प्रमुख घटकों का एक सेट होता है, और प्रिंसिपल घटकों के साथ डेटा भिन्नताएं भी प्राप्त होती हैं। फिर हम चेहरे की पीढ़ी पर एक नया रूप ले सकते हैं, हम कुछ औसत चेहरे के रूप में चेहरे का प्रतिनिधित्व करेंगे, साथ ही मुख्य घटकों के मैट्रिक्स, मापदंडों के वेक्टर द्वारा गुणा किया जाएगा।

मापदंडों का मूल्य स्लाइडर्स की बहुत तीव्रता है जो मैंने पहले स्लाइड में से एक में बात की थी। और हम मापदंडों के वेक्टर के लिए कुछ संभाव्य मूल्य भी दे सकते हैं। विशेष रूप से, हम सहमत हो सकते हैं कि यह वेक्टर गाऊसी हो।



इस प्रकार, हमें एक विधि मिलती है जो आपको 3 डी चेहरे उत्पन्न करने की अनुमति देती है, और यह पीढ़ी निम्नलिखित मापदंडों द्वारा नियंत्रित होती है। पिछली स्लाइड के अनुसार, हमारे पास दो सेट पैरामीटर हैं, दो वैक्टर α आईडी और α ऍक्स्प, वे पिछली स्लाइड के समान ही हैं, लेकिन α आईडी चेहरे के आकार के लिए जिम्मेदार है, और α एक्सपो भावना के लिए जिम्मेदार होगा।

एक नया वेक्टर टी भी दिखाई देता है - एक बनावट वेक्टर। इसका आकार वेक्टर के समान आयाम है, और इस वेक्टर में प्रत्येक शीर्ष पर तीन RGB मान हैं। इसी प्रकार, पैरामीटर वेक्टर the के उपयोग से एक बनावट वेक्टर उत्पन्न होता है। यहां उन मापदंडों को औपचारिक रूप नहीं दिया गया है जो चेहरे की रोशनी और उसकी स्थिति के लिए जिम्मेदार होंगे, लेकिन वे भी मौजूद हैं।



यहां उन चेहरों के उदाहरण दिए गए हैं जिन्हें विकृत मॉडल का उपयोग करके उत्पन्न किया जा सकता है। कृपया ध्यान दें कि वे आकार, त्वचा के रंग में भिन्न हैं, और विभिन्न प्रकाश स्थितियों में भी तैयार किए गए हैं।



अब हम 3 डी पुनर्निर्माण पर आगे बढ़ सकते हैं। इसे उलटा समस्या कहा जाता है, क्योंकि हम विकृत मॉडल के लिए ऐसे मापदंडों का चयन करना चाहते हैं ताकि हम जिस चेहरे से आकर्षित हों, वह मूल के समान संभव हो सके। यह स्लाइड उस में पहले से अलग है यहां, दाईं ओर, चेहरा पूरी तरह से सिंथेटिक है। यदि पहली स्लाइड पर हमारी बनावट एक तस्वीर से ली गई थी, तो यहां बनावट एक विकृत मॉडल से ली गई थी।

आउटपुट में, हमारे पास सभी पैरामीटर होंगे, स्लाइड पर α आईडी और α ऍक्स्प प्रस्तुत किया गया है, और हमारे पास प्रकाश, बनावट पैरामीटर आदि भी होंगे।



हमने कहा कि हम यह सुनिश्चित करना चाहते हैं कि उत्पन्न मॉडल एक तस्वीर की तरह दिखे। यह समानता ऊर्जा फ़ंक्शन का उपयोग करके निर्धारित की जाती है। यहां हम उन पिक्सेल में छवियों के पिक्सेल-दर-पिक्सेल अंतर लेते हैं, जहां हमें लगता है कि चेहरा दिखाई दे रहा है। उदाहरण के लिए, यदि चेहरा मुड़ा हुआ है, तो ओवरलैप होगा। उदाहरण के लिए, चीकबोन का हिस्सा नाक द्वारा कवर किया जाएगा। और दृश्यता मैट्रिक्स एम को इस तरह के ओवरलैप को प्रदर्शित करना चाहिए।

संक्षेप में, 3 डी पुनर्निर्माण इस ऊर्जा फ़ंक्शन को कम करना है। लेकिन इस कम से कम समस्या को हल करने के लिए, आरंभीकरण और नियमितीकरण करना अच्छा होगा। एक स्पष्ट कारण के लिए नियमितीकरण आवश्यक है, जैसा कि हमने कहा कि यदि हम मापदंडों को नियमित नहीं करते हैं और उन्हें पूरी तरह से मनमाना बनाते हैं, तो हम विकृत चेहरे प्राप्त कर सकते हैं। प्रारंभिककरण की आवश्यकता है क्योंकि एक पूरे के रूप में कार्य जटिल है, इसमें स्थानीय मिनीमा है, और आप उनसे निपटना नहीं चाहते हैं।



आरंभीकरण कैसे किया जा सकता है? इसके लिए आप चेहरे के 68 मुख्य बिंदुओं का उपयोग कर सकते हैं। 2013-2014 से, बहुत सारे एल्गोरिदम दिखाई दिए हैं जो 68 अंक को काफी अच्छी सटीकता के साथ पता लगाने की अनुमति देते हैं, और अब वे अपनी सटीकता की संतृप्ति के करीब पहुंच रहे हैं। इसलिए, हमारे पास चेहरे के 68 बिंदुओं का मज़बूती से पता लगाने का एक तरीका है।

हम अपने ऊर्जा फ़ंक्शन में एक नया शब्द जोड़ सकते हैं, जो कहेंगे कि हम मॉडल के समान 68 बिंदुओं के अनुमानों को चेहरे के प्रमुख बिंदुओं के साथ मेल खाना चाहते हैं। हम मॉडल पर इन बिंदुओं को चिह्नित करते हैं, फिर हम किसी तरह मॉडल को विकृत करते हैं, इसे मोड़ते हैं, अंक को प्रोजेक्ट करते हैं, और सुनिश्चित करते हैं कि अंकों के स्थान मेल खाते हैं। बाईं तस्वीर में दो रंगों के रंग हैं, बैंगनी और पीले। एल्गोरिदम द्वारा कुछ बिंदुओं का पता लगाया गया था, जबकि अन्य मॉडल से अनुमानित किए गए थे। अंकन मॉडल के दाईं ओर स्थित है, लेकिन चेहरे के किनारे वाले बिंदुओं के लिए, एक बिंदु चिह्नित नहीं है, लेकिन एक पूरी रेखा है। ऐसा इसलिए किया जाता है क्योंकि जब चेहरा घुमाया जाता है, तो इन बिंदुओं के चिह्नों को बदलना होगा, और बिंदु एक रेखा के साथ चुना जाता है।



यहां वह शब्द है जिसके बारे में मैंने बात की है, यह दो वैक्टरों का समन्वय-वार अंतर है जो चेहरे के प्रमुख बिंदुओं और मॉडल से अनुमानित प्रमुख बिंदुओं का वर्णन करता है।



आइए हम नियमितीकरण पर वापस लौटें और बेइज़ियन निष्कर्ष के परिप्रेक्ष्य से पूरी समस्या पर विचार करें। संभावना है कि वेक्टर α एक ज्ञात छवि में दी गई किसी चीज के बराबर है, किसी दिए गए α के लिए छवि को देखने की संभावना के उत्पाद के लिए आनुपातिक है, संभावना α द्वारा गुणा। यदि हम इस अभिव्यक्ति के नकारात्मक लघुगणक को लेते हैं, जिसे हमें कम से कम करना होगा, तो हम देखेंगे कि नियमितीकरण के लिए जिम्मेदार शब्द का यहां एक ठोस रूप होगा। विशेष रूप से, यह दूसरा शब्द है। यह याद करते हुए कि हमने पहले यह अनुमान लगाया था कि वेक्टर α गॉसियन है, हम देखते हैं कि नियमितीकरण के लिए जिम्मेदार शब्द प्रमुख घटकों के साथ घटे हुए मापदंडों के वर्गों का योग है।



तो, हम पूर्ण ऊर्जा फ़ंक्शन लिख सकते हैं, जिसमें तीन शब्द हैं। पहला शब्द बनावट के लिए जिम्मेदार है, उत्पन्न छवि और लक्ष्य छवि के बीच पिक्सेल अंतर के लिए। दूसरा शब्द प्रमुख बिंदुओं के लिए जिम्मेदार है, और तीसरा नियमितीकरण के लिए जिम्मेदार है।

न्यूनतमकरण प्रक्रिया में शर्तों के गुणांक अनुकूलित नहीं हैं, वे बस सेट हैं।
यहां, ऊर्जा फ़ंक्शन को सभी मापदंडों के फ़ंक्शन के रूप में दर्शाया गया है। α आईडी - चेहरे के आकार के पैरामीटर, α ऍक्स्प - अभिव्यक्ति पैरामीटर, parameters - बनावट पैरामीटर, पी - अन्य पैरामीटर जिनके बारे में हमने बात की थी, लेकिन औपचारिकता नहीं की थी, ये स्थिति और प्रकाश पैरामीटर हैं।



आइए हम इस टिप्पणी पर ध्यान दें। इस ऊर्जा समारोह को सरल बनाया जा सकता है। इससे, आप उस शब्द को निकाल सकते हैं जो बनावट के लिए जिम्मेदार है, और केवल 68 बिंदुओं द्वारा प्रेषित जानकारी का उपयोग करें। और यह आपको कुछ प्रकार के 3 डी मॉडल बनाने की अनुमति देगा। हालांकि, मॉडल प्रोफाइल पर ध्यान दें। बाईं ओर केवल प्रमुख बिंदुओं पर निर्मित मॉडल है। दाईं ओर भवन निर्माण के समय बनावट का उपयोग करने वाला एक मॉडल है। ध्यान दें कि दाईं ओर प्रोफ़ाइल केंद्रीय फोटोग्राफ के साथ अधिक सुसंगत है, जो चेहरे के सामने के दृश्य का प्रतिनिधित्व करता है।



चेहरे के 3 डी मॉडल के निर्माण के लिए मौजूदा एल्गोरिदम के साथ एनीमेशन काफी सरलता से काम करता है। याद रखें कि 3 डी मॉडल बनाते समय, हमें दो पैरामीटर वैक्टर मिलते हैं, एक आकृति के लिए जिम्मेदार, दूसरा अभिव्यक्ति के लिए। उपयोगकर्ता और अवतार के लिए मापदंडों के ये वैक्टर हमेशा अपने स्वयं के होंगे। उपयोगकर्ता के पास फॉर्म पैरामीटर का एक वेक्टर है, अवतार का एक अलग है। हालाँकि, हम अभिव्यक्ति के लिए जिम्मेदार वैक्टर को उनके लिए समान बना सकते हैं। हम उन मापदंडों को लेंगे जो उपयोगकर्ता की चेहरे की अभिव्यक्ति के लिए जिम्मेदार हैं, और बस उन्हें अवतार मॉडल में स्थानापन्न करते हैं। इस प्रकार हम उपयोगकर्ता की चेहरे की अभिव्यक्ति को अवतार में स्थानांतरित करेंगे।

आइए इस क्षेत्र में दो चुनौतियों के बारे में बात करते हैं: काम की गति और सीमित विकृत मॉडल।



गति वास्तव में एक समस्या है। कुल ऊर्जा कार्य को कम करना एक बहुत ही कम्प्यूटेशनल रूप से गहन कार्य है। विशेष रूप से, यह 20 से 40, औसत 30 सेकंड से ले सकता है। यह काफी लंबा है। यदि हम केवल मुख्य बिंदुओं पर एक त्रि-आयामी मॉडल का निर्माण करते हैं, तो यह बहुत तेज़ी से बाहर निकलेगा, लेकिन गुणवत्ता को इससे नुकसान होगा।



इस समस्या से कैसे निपटें? आप अधिक संसाधनों का उपयोग कर सकते हैं, कुछ लोग GPU पर इस समस्या को हल करते हैं। केवल प्रमुख बिंदुओं का उपयोग किया जा सकता है, लेकिन गुणवत्ता को नुकसान होगा। और आप मशीन सीखने के तरीकों का उपयोग कर सकते हैं।



क्रम में देखते हैं। यहां 2016 का काम है, जिसमें उपयोगकर्ता की चेहरे की अभिव्यक्ति को एक विशिष्ट वीडियो में स्थानांतरित किया जाता है, आप अपने चेहरे का उपयोग करके वीडियो को नियंत्रित कर सकते हैं। यहां, 3D मॉडल का निर्माण वास्तविक समय में GPU का उपयोग करके किया जाता है।



यहां ऐसी विधियाँ हैं जो मशीन लर्निंग का उपयोग करती हैं। विचार यह है कि हम पहले चेहरे के एक बड़े आधार को ले सकते हैं, प्रत्येक चेहरे के लिए 3 डी मॉडल बनाने के लिए एक लंबे लेकिन सटीक एल्गोरिदम का उपयोग करते हुए, प्रत्येक मॉडल को मापदंडों के एक सेट के रूप में प्रस्तुत करते हैं, और फिर इन मापदंडों की भविष्यवाणी करने के लिए ग्रिड को प्रशिक्षित करते हैं। विशेष रूप से, 2016 के इस काम में, ResNet का उपयोग किया जाता है, जो एक छवि को इनपुट में ले जाता है, और आउटपुट के लिए मॉडल पैरामीटर देता है।



तीन-आयामी मॉडल का प्रतिनिधित्व दूसरे तरीके से किया जा सकता है। 2017 के इस काम में, 3 डी मॉडल को मापदंडों के एक सेट के रूप में नहीं बल्कि स्वरों के एक सेट के रूप में प्रस्तुत किया गया है। नेटवर्क स्वर की भविष्यवाणी करता है, चित्र को त्रि-आयामी प्रतिनिधित्व में बदल देता है। यह ध्यान देने योग्य है कि नेटवर्क प्रशिक्षण विकल्प संभव है जिसके लिए 3 डी मॉडल की आवश्यकता नहीं है।



यह निम्नानुसार काम करता है। यहां सबसे महत्वपूर्ण हिस्सा परत है, जो एक इनपुट के रूप में विकृत मॉडल के मापदंडों को ले सकता है और चित्र को प्रस्तुत कर सकता है। इसकी ऐसी अद्भुत संपत्ति है कि इसके माध्यम से आप त्रुटि के पीछे प्रसार कर सकते हैं। नेटवर्क एक छवि को इनपुट के रूप में स्वीकार करता है, मापदंडों की भविष्यवाणी करता है, इन मापदंडों को एक परत को खिलाता है जो छवि को प्रदान करता है, इस छवि की इनपुट के साथ तुलना करता है, एक त्रुटि प्राप्त करता है, त्रुटि को वापस फैलाता है और सीखना जारी रखता है। इस प्रकार, नेटवर्क त्रि-आयामी मॉडल के मापदंडों की भविष्यवाणी करना सीखता है, जिसमें प्रशिक्षण डेटा के रूप में केवल चित्र होते हैं। और यह बहुत दिलचस्प है।



हमने सटीकता के बारे में बहुत सारी बातें कीं - विशेष रूप से, कि अगर हम ऊर्जा के कार्य से कुछ शब्द बाहर निकालते हैं तो यह कष्ट होता है। आइए औपचारिक रूप से इसका मतलब है, आप 3D फेस पुनर्निर्माण की सटीकता का मूल्यांकन कैसे कर सकते हैं। ऐसा करने के लिए, हमें विशेष उपकरणों का उपयोग करके प्राप्त किए गए सत्य सत्य स्कैन के आधार की आवश्यकता होती है, जिसके लिए तरीकों का उपयोग करते हुए सटीकता की कुछ गारंटी होती है। यदि ऐसा आधार मौजूद है, तो हम अपने पुनर्निर्माण किए गए मॉडल की जमीनी सच्चाई से तुलना कर सकते हैं। यह बस किया जाता है: हम अपने मॉडल के कोने से औसत दूरी की गणना करते हैं, जिसे हमने जमीनी सच्चाई में कोने तक, और स्कैन के आकार को सामान्य करने के लिए बनाया था। यह किया जाना चाहिए क्योंकि चेहरे अलग हैं, कुछ बड़े हैं, कुछ छोटे हैं, और छोटे चेहरे पर त्रुटि छोटी होगी, बस इसलिए कि चेहरा खुद छोटा हो। इसलिए, सामान्यीकरण की आवश्यकता है।



मैं हमारे काम के बारे में बात करना चाहूंगा, यह कार्यशालाओं में होगा, ईसीसीवी है। हम इसी तरह की चीजें करते हैं, हम मोबाइलनेट को एक ख़राब मॉडल के मापदंडों की भविष्यवाणी करना सिखाते हैं। प्रशिक्षण डेटा के रूप में, हम 300W डेटासेट से तस्वीरों के लिए निर्मित 3 डी मॉडल का उपयोग करते हैं। BU4DFE स्कैन के आधार पर सटीकता का मूल्यांकन करें।



यहाँ परिणाम है। हम अपने दो एल्गोरिदम की तुलना कला की स्थिति से करते हैं। इस ग्राफ में पीला वक्र एक एल्गोरिथ्म है जो 30 सेकंड लेता है और कुल ऊर्जा फ़ंक्शन को कम करता है। यहाँ एक्स अक्ष के साथ वह त्रुटि है जिसके बारे में हमने अभी बात की थी, जो खड़ीन के बीच की औसत दूरी है। Y अक्ष छवियों का वह अंश है जिसमें यह त्रुटि X अक्ष पर उससे छोटी है। इस ग्राफ में, वक्र जितना अधिक होगा, उतना ही बेहतर होगा। अगला कर्व हमारा मोबाइलनेट आधारित नेटवर्क है। आगे, तीन कामों के बारे में हमने बात की। पैरामीटर प्रेडिक्टिव नेटवर्क और वॉक्सल प्रेडिक्टिव नेटवर्क।



हमने मॉडल आकार और गति के मामले में अपने नेटवर्क की तुलना साथियों से की है। यह एक जीत है क्योंकि हम MobileNet का उपयोग करते हैं, जो काफी आसान है।

दूसरी चुनौती विकृत मॉडल की सीमितता है।



बाएं चेहरे पर ध्यान दें, नाक के पंखों को देखें। नाक के पंखों पर छाया हैं। छाया की सीमाएं फोटो में नाक की सीमाओं के साथ मेल नहीं खाती हैं, इस प्रकार एक दोष प्राप्त होता है। इसका कारण यह हो सकता है कि विकृत मॉडल, सिद्धांत रूप में, आवश्यक आकार की नाक का निर्माण करने में सक्षम नहीं है, क्योंकि यह विकृत मॉडल केवल 200 चेहरों के स्कैन से प्राप्त किया गया था। हम चाहेंगे कि नाक सही हो, जैसा कि सही फोटो में है। इस प्रकार, हमें किसी भी तरह से विकृत मॉडल के ढांचे से परे जाने की आवश्यकता है।



यह जाल के गैर-पैरामीट्रिक विरूपण का उपयोग करके किया जा सकता है। यहां तीन कार्य हैं जिन्हें हम हल करना चाहेंगे: चेहरे के स्थानीय भाग को संशोधित करना, उदाहरण के लिए, नाक, फिर इसे चेहरे के मूल मॉडल में एम्बेड करें, और यहां तक ​​कि सब कुछ अपरिवर्तित रहे।



इसे निम्नानुसार किया जा सकता है। आइए हम 3n- आयामी अंतरिक्ष में एक वेक्टर के रूप में मेष के पदनाम पर लौटें और औसत ऑपरेटर को देखें। यह एक ऑपरेटर है जो एस में हेडर के साथ अपने पड़ोसियों के औसत के साथ प्रत्येक शीर्ष को बदलता है। शिखर के पड़ोसी वे हैं जो एक किनारे से इससे जुड़े हैं।

हम एक निश्चित ऊर्जा फ़ंक्शन को परिभाषित करेंगे जो अपने पड़ोसियों के सापेक्ष शीर्ष की स्थिति का वर्णन करता है। हम चाहते हैं कि चोटी की स्थिति उसके पड़ोसियों के सापेक्ष अपरिवर्तित बनी रहे, या कम से कम ज्यादा न बदले। लेकिन एक ही समय में, हम किसी तरह एस को संशोधित करेंगे। इस ऊर्जा फ़ंक्शन को आंतरिक कहा जाता है, क्योंकि कुछ बाहरी शब्द भी होंगे, जो कहेंगे कि, उदाहरण के लिए, नाक को एक दिया आकार लेना चाहिए।



ऐसी तकनीकों का उपयोग किया गया था, उदाहरण के लिए, 2015 के काम में। उन्होंने कई तस्वीरों से 3 डी फेस रिकंस्ट्रक्शन किया। हमने फोन से कई तस्वीरें लीं, एक बिंदु बादल प्राप्त किया, और फिर गैर-पैरामीट्रिक संशोधनों का उपयोग करके चेहरे के मॉडल को इस बादल में अनुकूलित किया।



आप एक और तरीके से विकृत मॉडल से परे जा सकते हैं। हमें स्मूथिंग ऑपरेटर की कार्रवाई पर ध्यान देना चाहिए। यहां, सादगी के लिए, एक दो-आयामी जाल प्रस्तुत किया जाता है, जिसे इस ऑपरेटर ने लागू किया है। बाईं ओर के मॉडल पर कई विवरण हैं; दाईं ओर के मॉडल पर, इन विवरणों को सुचारू किया गया है। लेकिन क्या हम उन्हें हटाने के बजाय विवरण जोड़ने के लिए कुछ कर सकते हैं?



. .

? -: - . . , 2016 . , .