तंत्रिका नेटवर्क फोटोग्राफ का उपयोग करके 3 डी फेस पुनर्निर्माण करता है

VRL - AFLW2000-3D सेट से छवियों पर निर्देशित विधि को लागू करने के कुछ परिणाम

इंटरनेट पर कई स्टार्टअप्स हैं, जिनमें रूसी भी शामिल हैं, जो तस्वीरों से चेहरे की 3 डी संरचना को बहाल करने में लगे हुए हैं। उदाहरण के लिए, VisionLabs अपने Face.DJ आवेदन के साथ एक ही तस्वीर से 3 डी पुनर्निर्माण कर सकता है। इस तरह के एक परिवर्तन (फोटो द्वारा 3 डी मॉडलिंग) व्यावहारिक समझ में आता है। मॉडल बनाने के बाद, यह संभव हो जाता है, उदाहरण के लिए, केश को बदलने के लिए, चश्मे पर प्रयास करें, दाढ़ी बढ़ाना आदि। प्रौद्योगिकी का उपयोग चेहरे के सत्यापन और मान्यता प्रणालियों में किया जा सकता है।

लेकिन अब ऐसे स्टार्टअप्स का व्यवसाय ख़तरे में है: उनका काम नए न्यूरल नेटवर्क वीआरएन (वॉल्यूमेट्रिक रिग्रेशन नेटवर्क) द्वारा आसानी से किया जाता है, जो सार्वजनिक रूप से गिटहब पर पोस्ट किया जाता है । आप अपनी खुद की या किसी अन्य फोटो को सीधे साइट पर अपलोड कर सकते हैं - और तंत्रिका नेटवर्क कुछ सेकंड ( डेमो ) में ऑनलाइन परिवर्तित हो जाएगा।

2 डी फोटोग्राफी से 3 डी पुनर्निर्माण को मशीन की दृष्टि की मूलभूत समस्याओं में से एक माना जाता है क्योंकि इसकी अत्यधिक जटिलता है। अधिकांश वर्तमान प्रणालियों को अलग-अलग कोणों से एक ही व्यक्ति के कई तस्वीरों की आवश्यकता होती है। एक नए वैज्ञानिक पत्र के लेखकों के अनुसार, एक मॉडल बनाने और परिणाम को फिट करने के लिए मौजूदा मॉडल एक संपूर्ण और जटिल डेटा प्रसंस्करण पाइपलाइन का उपयोग करते हैं। जैसा कि यह पता चला है, दृढ़ तंत्रिका नेटवर्क मानव-विकसित मॉडल और एल्गोरिदम की तुलना में बहुत आसान और अधिक कुशलता से काम करता है।

दृष्टांत बताते हैं कि VRN तंत्रिका नेटवर्क कैमरे के लेंस के संबंध में मनमाने कोण पर विभिन्न चेहरे के भावों को संसाधित करता है - और एक ही तस्वीर पर काम करता है। चेहरे की पृष्ठभूमि (चश्मा, लॉलीपॉप) के खिलाफ बाहरी चीजें उसे परेशान नहीं करती हैं।

नॉटिंघम (यूके) विश्वविद्यालय से आरोन जैक्सन (हारून जैक्सन) के नेतृत्व में इस विकास के लेखकों ने छवियों के स्वरकरण के लिए एक बहुत ही सरल तरीका अपनाया है। यह 3 डी पुनर्निर्माण के अन्य तरीकों में निहित कमियों में से कई से रहित है ( 3 डी मॉर्फिबल मॉडल - 3 डीएमएम सहित)। सामान्य तौर पर, नए वीआरएन विधि का सार नीचे चित्रण में दर्शाया गया है।


(ए) प्रस्तावित वॉल्यूमेट्रिक रिग्रेशन नेटवर्क (वीआरएन) एक आरजीबी छवि को इनपुट के रूप में स्वीकार करता है और सीधे 3 डी वॉल्यूमेट्रिक आउटपुट देता है, जो पूरी तरह से 3 डीएमएम फिट को छोड़ देता है। प्रत्येक आयत 256 विशेषताओं का एक अवशिष्ट मापांक है। (बी) प्रस्तावित वीआरएन-निर्देशित वास्तुकला पहले 3 डी स्थलों से एक 2 डी प्रक्षेपण को परिभाषित करता है और मूल छवि के साथ मेल खाता है। यह स्टैक पुनर्निर्माण नेटवर्क को भेजा जाता है, जो सीधे वॉल्यूम वापस करता है। (c) प्रस्तावित वीआरएन वास्तुकला - मल्टीटास्क एक चेहरे की 3 डी चमकदार छवि और विरल 3 डी स्थलों का एक सेट देता है।

अध्ययन के लेखकों ने साबित किया कि कन्वेन्शनल न्यूरल नेटवर्क (सीएनएन) एक डेटासेट पर प्रशिक्षण के बाद तस्वीरों से 3 डी मॉडल को सफलतापूर्वक बनाने में सक्षम है जिसमें फोटो और उनके संगत 3 डी मॉडल शामिल हैं। इस मामले में, 300W बेस से व्यक्तियों की 60,000 द्वि-आयामी तस्वीरों पर प्रशिक्षण दिया गया था और उनके संगत 3D ग्रिड 3DMM का उपयोग करके प्राप्त किए गए थे।

जैसा कि यह निकला, एक संतोषजनक परिणाम उत्पन्न करने के लिए, तंत्रिका नेटवर्क को 3DMM मॉडल का उपयोग करने की आवश्यकता नहीं है और सफलतापूर्वक 2D से 3D में सीधे रूपांतरण करता है।

मॉडल की क्षमता बड़ी संख्या में मनमाने फोटो पर सिद्ध होती है, जो उपयोगकर्ता इंटरनेट ( डेमो ) के माध्यम से अपलोड करते हैं। जाहिरा तौर पर, वीआरएन विधि एक एकल तस्वीर में किसी भी अन्य 3 डी पुनर्निर्माण प्रणाली से बेहतर है। तिथि करने के लिए, डेमो ने पहले ही इंटरनेट से 400,000 से अधिक मनमाने फोटो संसाधित किए हैं।

एक तंत्रिका नेटवर्क को स्थानीय रूप से आपके कंप्यूटर पर भी चलाया जा सकता है। कार्यक्रम कोड GitHub पर प्रकाशित हुआ है । काम करने के लिए, आपको CUDA समर्थन के साथ स्थापित मशाल 7 वैज्ञानिक कंप्यूटिंग ढांचे , अधिक या कम उत्पादक एनवीडिया ग्राफिक्स प्रोसेसर की आवश्यकता है। कार्यक्रम को लिनक्स ऑपरेटिंग सिस्टम में परीक्षण किया गया था और लेखक को पता नहीं है कि यह विंडोज के तहत कैसे काम करता है। आपको MATLAB, bash, ImageMagick, GNU awk, Python 2.7 (+ visvis, imageio, numpy) की भी आवश्यकता होगी।

तंत्रिका नेटवर्क का वर्णन करने वाला एक वैज्ञानिक लेख 22 मार्च, 2017 को प्रकाशित हुआ था (arXiv: 1703.07834, pdf )।