यदि आप एक फोटो एडिटर और एक न्यूरल नेटवर्क को मिलाते हैं तो क्या होता है

न्यूरल फोटो एडिटर न्यूरल फोटो एडिटर के काम का एक उदाहरण। केंद्र में मूल छवि है। लाल और नीले वर्ग तंत्रिका नेटवर्क के प्रशिक्षण के बाद उत्पन्न छिपी हुई जगह के क्षेत्रों को दिखाते हैं। उन्हें "संदर्भ ब्रश" के माध्यम से प्रत्यक्ष (जैसा कि आमतौर पर किया जाता है) और परोक्ष रूप से दोनों में हेरफेर किया जा सकता है।

क्या आपको लगता है कि "फोटोशॉप" वास्तविकता को विकृत करने में अद्भुत काम करता है? हां, वह किसी व्यक्ति को "ब्रश ब्रश" की सहायता से एलोन मास्क की तरह एक तस्वीर से हटा सकता है या उसके सिर पर बाल बढ़ा सकता है। लेकिन यह तंत्रिका नेटवर्क के लिए क्या सक्षम है के बगल में खड़ा नहीं है, अगर इसे प्रासंगिक विश्लेषण के साथ संपादित करने की अनुमति है। यह एक पूरी तरह से अलग वास्तविकता है। एक तंत्रिका नेटवर्क एक व्यक्ति को एक फोटो मुस्कान में बना सकता है, अपनी प्रेमिका को एंजेलीना जोली की विशेषताएं दे सकता है, और इसी तरह। संभावनाएं अनंत हैं।

इस क्षेत्र में पहला संकेत न्यूरल फोटो एडिटर न्यूरल फोटो एडिटर है , जिसे स्कूल ऑफ इंजीनियरिंग एंड फिजिकल साइंसेज के कर्मचारियों द्वारा हेरिटो-वाट यूनिवर्सिटी (एडिनबर्ग, यूके) में रेनिशाव के एक सहयोगी के साथ मिलकर विकसित किया गया था । छवियों के लिए जेनेरेटिव मॉडल

बनाने में हालिया प्रगति ने तंत्रिका नेटवर्क के उद्भव को जन्म दिया है, जो प्रशिक्षण के बाद, नमूने उत्पन्न करते हैं और उच्चतम गुणवत्ता को प्रक्षेपित करते हैं। 2013-2014 में आविष्कार किए गए दो मुख्य तरीके इस क्षेत्र में उपयोग किए जाते हैं: वैरिएंट ऑटोकेनडर ( वीएई ) और जेनेरिक एडवाइजर नेटवर्क(GAN)। उन्होंने दिखाया कि एक तंत्रिका नेटवर्क प्राकृतिक छवियों में जटिल, बहुआयामी संरचनाओं को उत्पन्न करने में सक्षम है।

VAE वैरिएशन ऑटो एनकोडर संभाव्य चित्रमय मॉडल हैं जो सीखने के परिणाम को अव्यक्त स्थान में प्रोजेक्ट करके, और फिर उस स्थान से छवि का पुनर्निर्माण करके परिवर्तनशील कम सीमा (डेटा की संभावना के आधार पर) को अधिकतम करना सीखते हैं।

जेनरेटिव एडवरसैरियल नेटवर्क (GAN) वास्तविक और उत्पन्न डेटा के बीच अंतर करने के लिए एक नेटवर्क ("विभेदक") को प्रशिक्षित करके जेनेरेटिव मॉडल में महारत हासिल करता है। उसी समय, एक अन्य नेटवर्क ("जनरेटर") नमूने उत्पन्न करने के लिए सीख रहा है कि भेदभाव करने वाला वास्तविक लोगों से अलग नहीं होता है।

एक छिपी जगह में छवियों को उत्पन्न करने के लिए दोनों विधियाँ उपयुक्त हैं - उदाहरण के लिए, एक भ्रूभंग में मुस्कान जोड़ने के लिए। उनमें से प्रत्येक के अपने फायदे और नुकसान हैं।

न्यूरल फोटो एडिटर न्यूरल फोटो एडिटर जेनेरिक मॉडल के छिपे हुए स्थान के साथ काम करने के लिए एक अभिनव इंटरफ़ेस है। यह विधि आपको "संदर्भ ब्रश" का उपयोग करके छवि में विशिष्ट सिमेंटिक संपादन करने की अनुमति देती है, जो अप्रत्यक्ष रूप से अपने स्वयं के वेक्टर को बदल देती है।

न्यूरल फोटो एडिटर में मुख्य विचार छिपे हुए स्थान को एक सहज तरीके से बदलना है, अर्थात, एक नियमित छवि को संपादित करके। उपयोगकर्ता ब्रश के रंग और आकार का चयन करता है - इसे परिणामस्वरूप छवि पर लागू करता है। तंत्रिका नेटवर्क एक रिवर्स कनवल्शन करता है, जो स्रोत पिक्सल के रंग और ब्रश के रंग के बीच अंतर की गणना करता है, और इस अंतर को कम करने के लिए छिपे हुए स्थान को बदलता है। परिणामस्वरूप, हमें परिणामी छवि में अर्थपूर्ण संपादन प्राप्त होते हैं - बाल बदलते हैं, एक मुस्कान, गालों पर डिम्पल आदि।


न्यूरल फोटो एडिटर का उपयोग करके फोटो बदलने का परिणाम

एक सरल उदाहरण। यदि हम काले बालों के साथ एक सफेद चेहरे की तस्वीर लेते हैं - और हमारे माथे पर एक काला ब्रश लगाते हैं, लेकिन एक तंत्रिका तस्वीर संपादक स्वचालित रूप से वहाँ बाल जोड़ देगा। संपादक एक सभ्य GPU पर वास्तविक समय में काम करता है।

संपादन परिणाम को बेहतर बनाने के लिए, संपादक के पास तंत्रिका नेटवर्क (इंटरपोलेशन मास्क) द्वारा परिवर्तन के बाद छवि पुनर्निर्माण को संपादित करने की क्षमता है। इस मामले में, परिणाम बेहतर (नीचे चित्रण में) सामने आता है।


प्रक्षेप मास्क का दृश्य। शीर्ष बाएँ से दाएँ: पुनर्निर्माण, डेल्टा (त्रुटि) पुनर्निर्माण का, मूल छवि। नीचे: संशोधित पुनर्निर्माण, डेल्टा, जिसके परिणामस्वरूप छवि

निम्नलिखित चित्र CelebA, ImageNet और SVHN डेटाबेस से तस्वीरों के पुनर्निर्माण और प्रक्षेप में एक तंत्रिका नेटवर्क के संचालन के उदाहरण दिखाते हैं। बाईं ओर स्रोत चित्र हैं, दाईं ओर प्रत्येक चरण के साथ, तंत्रिका नेटवर्क में एक क्रमिक पुनर्निर्माण के परिणाम दिखाए जाते हैं।



लेखकों ने 22 सितंबर, 2016 को arXiv.org पर अपना काम प्रकाशित किया ।

न्यूरल फोटो एडिटर कोड जीथब पर प्रकाशित किया गया है । उसी रिपॉजिटरी में, एक आत्मनिरीक्षण प्रतिकूल तंत्रिका नेटवर्क के लिए कोड प्रकाशित किया जाता है, जो कि वैरिएबल ऑटोकेनोडर्स (वीएई) और जेनेरिक एडवेर्सरियल नेटवर्क (जीएएन) का एक संकर है।

न्यूरल फोटो एडिटर लॉन्च करने के लिए आपको आवश्यकता होगी:

• थियोनो , बहु-आयामी सरणियों का उपयोग करके गणितीय अभिव्यक्तियों को कुशलतापूर्वक परिभाषित करने, अनुकूलन और मूल्यांकन करने के लिए एक पायथन पुस्तकालय।
• लेजेन , थीनो में तंत्रिका नेटवर्क के निर्माण और प्रशिक्षण के लिए एक पुस्तकालय।
• प्रदर्शन में सुधार करने के लिए, मानक प्रक्रियाओं के हार्डवेयर त्वरण के लिए एनवीडिया से पुस्तकालय, जैसे आगे और रिवर्स कनवल्शन, पूलिंग, सामान्यीकरण और लेयर एक्टिवेशन के लिए क्यूवीएनडीएन से लाइब्रेरी स्थापित करने की अनुशंसा (लेकिन आवश्यक नहीं) की गई है । यह एनवीडिया डीप लर्निंग एसडीके का हिस्सा है ।
• अजगर स्थापना किट से सुन्न, डरावना, पीआईएल, टिंकर, और tCColorChooser।

Source: https://habr.com/ru/post/hi397847/