किसी न किसी स्केच से चित्र: NVIDIA GauGAN तंत्रिका नेटवर्क कैसे काम करता है

पिछले महीने NVIDIA GTC 2019 में, NVIDIA ने एक नया एप्लिकेशन पेश किया, जो उपयोगकर्ता द्वारा खींची गई सरल रंगीन गेंदों को आश्चर्यजनक, फोटो-यथार्थवादी छवियों में बदल देता है।


एप्लिकेशन को जनरेटिव -प्रतिस्पर्धी नेटवर्क (जीएएन) की तकनीक पर बनाया गया है, जो गहन सीखने पर आधारित है। NVIDIA खुद इसे गौगान कहता है - एक वाक्य जिसका उद्देश्य कलाकार पॉल गौगुइन को संदर्भित करना था। गौगान की कार्यक्षमता नए SPADE एल्गोरिथ्म पर आधारित है।

इस लेख में, मैं समझाऊंगा कि यह इंजीनियरिंग कृति कैसे काम करती है। और अधिक से अधिक इच्छुक पाठकों को आकर्षित करने के लिए, मैं इस बात का विस्तृत विवरण देने की कोशिश करूंगा कि कैसे तंत्रिका संबंधी नेटवर्क काम करते हैं। चूंकि SPADE एक जनरेटिव-प्रतिस्पर्धी नेटवर्क है, इसलिए मैं आपको उनके बारे में अधिक बताऊंगा। लेकिन अगर आप पहले से ही इस शब्द से परिचित हैं, तो आप तुरंत "इमेज-टू-इमेज प्रसारण" अनुभाग पर जा सकते हैं।

छवि निर्माण

आइए समझना शुरू करते हैं: अधिकांश आधुनिक गहन शिक्षण अनुप्रयोगों में, तंत्रिका विभेदक प्रकार (डिस्क्रिमिनेटर) का उपयोग किया जाता है, और SPADE एक जेनरल न्यूरल नेटवर्क (जनरेटर) है।

discriminators

विवेचक इनपुट डेटा को वर्गीकृत करता है। उदाहरण के लिए, एक छवि क्लासिफायर एक विभेदक है जो एक छवि लेता है और एक उपयुक्त वर्ग लेबल का चयन करता है, उदाहरण के लिए, "कुत्ते", "कार" या "ट्रैफ़िक लाइट" के रूप में छवि को परिभाषित करता है, अर्थात, एक लेबल का चयन करता है जो पूरी छवि का वर्णन करता है। क्लासिफायरियर द्वारा प्राप्त आउटपुट को आमतौर पर संख्याओं के वेक्टर के रूप में प्रस्तुत किया जाता है $$$वी$जहाँ $$$v_i$0 से 1 तक की संख्या है, नेटवर्क के विश्वास को व्यक्त करते हुए कि छवि चयनित के अंतर्गत आती है $$$मैं$श्रेणी।

भेदभावकर्ता वर्गीकरण की सूची भी संकलित कर सकता है। यह छवि के प्रत्येक पिक्सेल को "लोगों" या "मशीनों" (तथाकथित "शब्दार्थ विभाजन") के वर्ग से संबंधित कर सकता है।


क्लासीफायर 3 चैनलों (लाल, हरा और नीला) के साथ एक छवि लेता है और प्रत्येक संभावित वर्ग में एक आत्मविश्वास वेक्टर के साथ इसकी तुलना करता है जो छवि का प्रतिनिधित्व कर सकता है।

चूंकि छवि और उसकी कक्षा के बीच संबंध बहुत जटिल है, तंत्रिका नेटवर्क इसे कई परतों के ढेर से गुजरते हैं, जिनमें से प्रत्येक "थोड़ा" इसे संसाधित करता है और इसके उत्पादन को अगले स्तर की व्याख्या के लिए पारित करता है।

जनरेटर

SPADE जैसा एक जेनरेटरी नेटवर्क एक डेटासेट प्राप्त करता है और नए मूल डेटा बनाने का प्रयास करता है जो ऐसा दिखता है जैसे कि यह डेटा वर्ग का है। उसी समय, डेटा कुछ भी हो सकता है: लगता है, भाषा या कुछ और, लेकिन हम छवियों पर ध्यान केंद्रित करेंगे। सामान्य तौर पर, ऐसे नेटवर्क में डेटा प्रविष्टि बस यादृच्छिक संख्याओं का एक वेक्टर है, जिसमें इनपुट डेटा के प्रत्येक संभव सेट के साथ अपनी छवि बनाई जाती है।


एक यादृच्छिक इनपुट वेक्टर पर आधारित एक जनरेटर वस्तुतः छवि वर्गीकरण के विपरीत काम करता है। "सशर्त वर्ग" जनरेटर में, इनपुट वेक्टर वास्तव में, संपूर्ण डेटा वर्ग का वेक्टर है।

जैसा कि हमने पहले ही देखा है, SPADE सिर्फ एक "यादृच्छिक वेक्टर" की तुलना में बहुत अधिक उपयोग करता है। इस प्रणाली को "विभाजन मानचित्र" नामक एक प्रकार की ड्राइंग द्वारा निर्देशित किया जाता है। उत्तरार्द्ध इंगित करता है कि क्या और कहां पोस्ट करना है। SPADE उपर्युक्त शब्दार्थ विभाजन के विपरीत प्रक्रिया का संचालन करता है। सामान्य तौर पर, एक भेदभावपूर्ण कार्य जो एक डेटा प्रकार को दूसरे में परिवर्तित करता है एक समान कार्य होता है, लेकिन यह एक अलग, असामान्य पथ लेता है।

आधुनिक जनरेटर और विभेदक आमतौर पर अपने डेटा को संसाधित करने के लिए दृढ़ नेटवर्क का उपयोग करते हैं। कन्वेशनल न्यूरल नेटवर्क (CNNs) के लिए अधिक संपूर्ण परिचय के लिए कर्ण पर पोस्ट चबाइए या आंद्रेई करपाती के कार्य को देखें ।

क्लासिफायरियर और इमेज जनरेटर के बीच एक महत्वपूर्ण अंतर है, और यह इस बात में निहित है कि वास्तव में वे इसके प्रसंस्करण के दौरान छवि के आकार को कैसे बदलते हैं। छवि क्लासिफायरियर को इसे कम करना चाहिए जब तक कि छवि सभी स्थानिक जानकारी खो देती है और केवल कक्षाएं बनी रहती हैं। यह परतों के संयोजन के द्वारा, या संश्लिष्ट नेटवर्क के उपयोग के माध्यम से प्राप्त किया जा सकता है, जिसके माध्यम से अलग-अलग पिक्सेल पास होते हैं। दूसरी ओर, जेनरेटर, "कनवल्शन" के विपरीत एक प्रक्रिया का उपयोग करके एक छवि बनाता है, जिसे कन्वेन्शनल ट्रांसपोज़िशन कहा जाता है। वह अक्सर "डीकोनवोल्यूशन" या "रिवर्स कनवल्शन" से भ्रमित होता है।


"2" के एक चरण के साथ पारंपरिक 2x2 कन्वेंशन प्रत्येक 2x2 ब्लॉक को एक बिंदु में बदल देता है, आउटपुट आकार को 1/2 से कम करता है।


"2" के एक चरण के साथ एक ट्रांसफ़ेक्ट 2x2 कनवल्शन 2 बिंदु से आउटपुट का आकार बढ़ाते हुए, प्रत्येक बिंदु से 2x2 ब्लॉक उत्पन्न करता है।

जनरेटर प्रशिक्षण

सैद्धांतिक रूप से, एक दृढ़ तंत्रिका नेटवर्क ऊपर वर्णित छवियों को उत्पन्न कर सकता है। लेकिन हम उसे कैसे प्रशिक्षित करते हैं? यही है, अगर हम इनपुट छवि डेटा के सेट को ध्यान में रखते हैं, तो हम जनरेटर के मापदंडों को कैसे समायोजित कर सकते हैं (हमारे मामले में, SPADE) ताकि यह नई छवियां बनाए जो कि प्रस्तावित डेटा सेट के अनुरूप दिखते हैं?

ऐसा करने के लिए, आपको छवि क्लासिफायर के साथ तुलना करने की आवश्यकता है, जहां उनमें से प्रत्येक में सही वर्ग लेबल है। नेटवर्क भविष्यवाणी वेक्टर और सही वर्ग को जानने के बाद, हम नेटवर्क अपडेट मापदंडों को निर्धारित करने के लिए बैकप्रॉपैगेशन एल्गोरिथ्म का उपयोग कर सकते हैं। वांछित वर्ग के निर्धारण में इसकी सटीकता बढ़ाने और अन्य वर्गों के प्रभाव को कम करने के लिए यह आवश्यक है।


इमेज क्लासिफायर की सटीकता का अनुमान सही क्लास वेक्टर के साथ इसके आउटपुट एलिमेंट की तुलना करके लगाया जा सकता है। लेकिन जनरेटर के लिए, कोई "सही" आउटपुट छवि नहीं है।

समस्या यह है कि जब जनरेटर एक छवि बनाता है, तो प्रत्येक पिक्सेल के लिए "सही" मान नहीं हैं (हम परिणाम की तुलना नहीं कर सकते हैं, जैसा कि पहले से तैयार आधार के आधार पर एक क्लासिफायरियर के मामले में, लगभग। ट्रांस।)। सैद्धांतिक रूप से, कोई भी छवि जो विश्वसनीय लगती है और लक्ष्य डेटा के समान है, भले ही इसका पिक्सेल मान वास्तविक छवियों से बहुत अलग हो।

तो, हम जनरेटर को कैसे बता सकते हैं कि इसे किस पिक्सेल में अपना आउटपुट बदलना चाहिए और यह अधिक यथार्थवादी चित्र कैसे बना सकता है (अर्थात "त्रुटि संकेत कैसे दें")? शोधकर्ताओं ने इस सवाल पर बहुत विचार किया और वास्तव में यह काफी कठिन है। अधिकांश विचार, जैसे कि वास्तविक छवियों के लिए कुछ औसत "दूरी" की गणना, धुंधली, खराब गुणवत्ता वाली तस्वीरें पैदा करते हैं।

आदर्श रूप से, हम "माप" कर सकते हैं कि "उच्च-स्तरीय" अवधारणा के उपयोग से उत्पन्न छवियां कितनी वास्तविक लगती हैं, जैसे कि "इस छवि को वास्तविक से अलग करना कितना मुश्किल है?" ...

पीढ़ी के प्रतिकूल नेटवर्क

यह वास्तव में गुडफेलो एट अल। 2014 के हिस्से के रूप में लागू किया गया था। यह विचार एक के बजाय दो तंत्रिका नेटवर्क का उपयोग करके छवियां उत्पन्न करना है: एक नेटवर्क -
जनरेटर, दूसरा एक छवि क्लासिफायरियर (विवेचक) है। विवेचक का कार्य प्राथमिक डेटा सेट (इन छवियों के वर्गों को "नकली" और "वास्तविक" के रूप में नामित किया गया है) से जनरेटर की आउटपुट छवियों को वास्तविक छवियों से अलग करना है। जनरेटर का काम डेटा सेट में छवियों के समान संभव बनाने वाली छवियों को बनाकर भेदभाव करने वाले को धोखा देना है। हम कह सकते हैं कि इस प्रक्रिया में जनरेटर और भेदभाव करने वाले प्रतिद्वंद्वी हैं। इसलिए नाम: जनरेटिव-एडवरसैरियल नेटवर्क ।


यादृच्छिक वेक्टर इनपुट के आधार पर जनन-प्रतिस्पर्धी नेटवर्क। इस उदाहरण में, जनरेटर आउटपुट में से एक "वास्तविक" छवि चुनने में भेदभावकर्ता को छल करने की कोशिश कर रहा है।

यह हमें कैसे मदद करता है? अब हम पूरी तरह से विवेचक की भविष्यवाणी पर आधारित एक त्रुटि संदेश का उपयोग कर सकते हैं: 0 ("असत्य") से 1 ("वास्तविक") का मान। चूंकि भेदभाव एक तंत्रिका नेटवर्क है, इसलिए हम छवि जनरेटर के साथ त्रुटियों के बारे में अपने निष्कर्ष साझा कर सकते हैं। यही है, भेदभावकर्ता जनरेटर को बता सकता है कि उसे अपनी छवियों को बेहतर ढंग से "धोखा" देने के लिए अपनी छवियों को कहाँ और कैसे समायोजित करना चाहिए (यानी, अपनी छवियों के यथार्थवाद को कैसे बढ़ाया जाए)।

नकली छवियां कैसे सीखें सीखने की प्रक्रिया में, भेदभावकर्ता जनरेटर को बेहतर और बेहतर प्रतिक्रिया देता है कि बाद वाला अपना काम कैसे सुधार सकता है। इस प्रकार, भेदभावकर्ता जनरेटर के लिए "नुकसान सीखें" कार्य करता है।

शानदार छोटा गण

हमारे द्वारा अपने काम में माना गया GAN ऊपर वर्णित तर्क का अनुसरण करता है। उसका भेदभाव करनेवाला $$$डी$छवि का विश्लेषण करता है $$$x$और मूल्य प्राप्त करता है $$$D (x)$0 से 1 तक, जो उसके आत्मविश्वास की डिग्री को दर्शाता है कि छवि वास्तविक या जनरेटर द्वारा नकली है। उसका जनक $$$जी$सामान्य रूप से वितरित संख्याओं का एक यादृच्छिक वेक्टर प्राप्त करता है $$$Z$और छवि प्रदर्शित करता है $$$G (z)$कि भेदभावकर्ता द्वारा छल किया जा सकता है (वास्तव में, यह छवि $$$D (G (z))$)

जिन मुद्दों पर हमने चर्चा नहीं की थी, उनमें से एक है GAN को कैसे प्रशिक्षित किया जाए और नेटवर्क प्रदर्शन को मापने के लिए विकास कार्यों का क्या नुकसान है । सामान्य तौर पर, हानि फ़ंक्शन में वृद्धि होनी चाहिए क्योंकि विवेचक प्रशिक्षित होता है और घटता है क्योंकि जनरेटर प्रशिक्षित होता है। स्रोत GAN की हानि फ़ंक्शन ने निम्न दो मापदंडों का उपयोग किया। पहला है
उस डिग्री का प्रतिनिधित्व करता है जिस तक विभेदक सही ढंग से वास्तविक छवियों को वास्तविक रूप में वर्गीकृत करता है। दूसरा यह है कि भेदभाव करने वाला कितनी अच्छी तरह से नकली छवियों का पता लगाता है:

$$$ इनलाइन $ \ start {समीकरण *} \ mathcal {L} _ \ text {GAN} (D, G) = \ underbrace {E _ {\ vec {x} \ sim p_ \ text {data}} [\ log D] \ vec {x})]} _ {\ text {यथार्थ चित्रों पर सटीकता}} + \ underbrace {E _ {\ vec {z} \ sim \ mathcal {N}} [\ log (1 - D (G) {z}))]} _ {\ text {फ़ेक पर सटीकता}}} \ n {समीकरण *} $ इनलाइन $

discriminator $$$डी$उनका दावा है कि छवि वास्तविक है। यह कब से समझ में आता है $$$LogD (x)$बढ़ जाती है जब विवेचक x वास्तविक मानता है। जब विवेचक नकली छवियों का बेहतर पता लगाता है, तो अभिव्यक्ति का मूल्य बढ़ जाता है $$$लॉग (1-D (G (z))$(1 के लिए प्रयास करना शुरू करता है), तब से $$$D (G (z))$0 हो जाएगी।

व्यवहार में, हम छवियों के पूरे बैचों का उपयोग करके सटीकता का मूल्यांकन करते हैं। हम वास्तविक छवियों के बहुत सारे (लेकिन किसी भी तरह से नहीं) लेते हैं $$$x$और कई यादृच्छिक वैक्टर $$$Z$उपरोक्त सूत्र के अनुसार औसत प्राप्त करने के लिए। फिर हम सामान्य त्रुटियों और एक डेटा सेट का चयन करते हैं।

समय के साथ, यह दिलचस्प परिणाम की ओर जाता है:

गुडफेलो GAN का अनुकरण MNIST, TFD और CIFAR-10 डेटासेट। समोच्च छवियों निकटवर्ती fakes के लिए डाटासेट में निकटतम हैं।

यह सब सिर्फ 4.5 साल पहले शानदार था। सौभाग्य से, जैसा कि SPADE और अन्य नेटवर्क दिखाते हैं, मशीन लर्निंग तेजी से प्रगति कर रहा है।

प्रशिक्षण की समस्याएं

कार्य की तैयारी और अस्थिरता में उनकी जटिलता के लिए पीढ़ी-प्रतिस्पर्धी नेटवर्क कुख्यात हैं। समस्याओं में से एक यह है कि यदि जनरेटर प्रशिक्षण की गति में भेदभाव करने वाले से बहुत आगे है, तो छवियों का इसका चयन उन लोगों तक सीमित होता है जो भेदभाव करने वाले को धोखा देने में मदद करते हैं। वास्तव में, एक परिणाम के रूप में, जनरेटर को प्रशिक्षित करने के लिए भेदभाव करने वाले को धोखा देने के लिए एक एकल, सार्वभौमिक छवि बनाने के लिए नीचे आता है। इस समस्या को "पतन मोड" कहा जाता है।


GAN पतन मोड गुडफेलो के समान है। कृपया ध्यान दें कि इनमें से कई बेडरूम की छवियां एक-दूसरे के समान दिखती हैं। स्रोत

एक और समस्या यह है कि जब जनरेटर प्रभावी रूप से विवेचक को चकमा देता है $$$डी (जी (जेड))$, यह एक बहुत छोटे ढाल के साथ काम करता है, इसलिए $$$\ mathcal {L} _ \ text {GAN} G (\ vec {z})$सही उत्तर खोजने के लिए पर्याप्त डेटा नहीं मिल सकता है, जिसमें यह छवि अधिक यथार्थवादी दिखाई देगी।

इन समस्याओं को हल करने के लिए शोधकर्ताओं के प्रयासों का उद्देश्य मुख्य रूप से नुकसान समारोह की संरचना को बदलना था। Xudong Mao et al।, 2016 द्वारा प्रस्तावित साधारण परिवर्तनों में से एक नुकसान फ़ंक्शन का प्रतिस्थापन है $$$\ mathcal {L} _ \ text {GAN}$सरल कार्यों के एक जोड़े के लिए $$$V_ \ text {LSGAN}$, जो छोटे क्षेत्र के वर्गों पर आधारित हैं। यह प्रशिक्षण प्रक्रिया के स्थिरीकरण की ओर जाता है, बेहतर चित्र प्राप्त करता है और निर्बाध ग्रेडिएंट का उपयोग करके पतन की संभावना कम होती है।

शोधकर्ताओं ने एक और समस्या का सामना किया है, जो उच्च-रिज़ॉल्यूशन की छवियों को प्राप्त करने में कठिनाई है, क्योंकि अधिक विस्तृत छवि भेदभावकर्ता को नकली छवियों का पता लगाने के लिए अधिक जानकारी देती है। आधुनिक जीएएन नेटवर्क को कम-रिज़ॉल्यूशन छवियों के साथ प्रशिक्षित करना शुरू करते हैं और धीरे-धीरे अधिक से अधिक परतों को जोड़ते हैं जब तक वांछित छवि का आकार नहीं मिलता है।


GAN प्रशिक्षण के दौरान उच्च रिज़ॉल्यूशन वाली परतों का क्रमिक जोड़ पूरी प्रक्रिया की स्थिरता को बढ़ाता है, साथ ही परिणामी छवि की गति और गुणवत्ता को भी बढ़ाता है।

छवि से छवि प्रसारण

अब तक, हमने इस बारे में बात की है कि इनपुट डेटा के यादृच्छिक सेटों से छवियां कैसे उत्पन्न होती हैं। लेकिन SPADE सिर्फ यादृच्छिक डेटा का उपयोग नहीं करता है। यह नेटवर्क एक सेगमेंटेशन मैप नामक एक छवि का उपयोग करता है: यह प्रत्येक पिक्सेल (उदाहरण के लिए, घास, लकड़ी, पानी, पत्थर, आकाश) को एक सामग्री वर्ग प्रदान करता है। इस छवि से, कार्ड SPADE है और एक तस्वीर की तरह दिखता है उत्पन्न करता है। इसे "इमेज-टू-इमेज प्रसारण" कहा जाता है।


Pix2pix द्वारा छह अलग-अलग प्रकार के इमेज-टू-इमेज प्रसारण दिखाए गए। Pix2pix दो नेटवर्क का पूर्ववर्ती है, जिसके बारे में हम आगे चर्चा करेंगे: Pix2pixHD और SPADE।

जनरेटर के लिए इस दृष्टिकोण को सीखने के लिए, उसे विभाजन मानचित्र और संबंधित फ़ोटो के एक सेट की आवश्यकता होती है। हम GAN आर्किटेक्चर को संशोधित कर रहे हैं ताकि जनरेटर और विवेचक दोनों को एक विभाजन मानचित्र प्राप्त हो। बेशक, जनरेटर को यह जानने के लिए एक मानचित्र की आवश्यकता है कि "किस तरह से आकर्षित किया जाए।" विवेचक को यह भी सुनिश्चित करने की आवश्यकता है कि जनरेटर सही स्थानों पर सही चीजों को रखता है।

प्रशिक्षण के दौरान, जनरेटर घास को नहीं डालना सीखता है जहां "आकाश" को विभाजन के नक्शे पर दर्शाया गया है, क्योंकि अन्यथा भेदभाव करने वाला आसानी से एक नकली छवि का पता लगा सकता है, और इसी तरह।


इमेज-टू-इमेज अनुवाद के लिए, इनपुट छवि जनरेटर और भेदभावकर्ता दोनों द्वारा स्वीकार की जाती है। भेदभाव करने वाला अतिरिक्त रूप से जनरेटर आउटपुट या प्रशिक्षण डेटा सेट से सही आउटपुट प्राप्त करता है। उदाहरण

छवि से छवि अनुवादक विकास

आइए एक वास्तविक छवि-से-छवि अनुवादक को देखें: pix2pixHD । वैसे, SPADE को Pix2pixHD की छवि और समानता में सबसे अधिक भाग के लिए डिज़ाइन किया गया है।

एक छवि से छवि अनुवादक के लिए, हमारा जनरेटर एक छवि बनाता है और इसे एक इनपुट के रूप में स्वीकार करता है। हम बस एक संकेंद्रित परत के नक्शे का उपयोग कर सकते हैं, लेकिन चूंकि विचारात्मक परतें केवल छोटे क्षेत्रों में मूल्यों को जोड़ती हैं, इसलिए हमें उच्च रिज़ॉल्यूशन की छवि जानकारी प्रसारित करने के लिए बहुत अधिक परतों की आवश्यकता होती है।

pix2pixHD इस समस्या को "एनकोडर" की मदद से और अधिक कुशलता से हल करता है, जो इनपुट छवि के पैमाने को कम करता है, इसके बाद "डिकोडर" होता है, जो आउटपुट छवि प्राप्त करने के पैमाने को बढ़ाता है। जैसा कि हम जल्द ही देखेंगे, SPADE के पास अधिक सुरुचिपूर्ण समाधान है जिसके लिए एनकोडर की आवश्यकता नहीं है।


एक "उच्च" स्तर पर Pix2pixHD नेटवर्क आरेख। "अवशिष्ट" ब्लॉक और "+ ऑपरेशन" अवशिष्ट तंत्रिका नेटवर्क से "कनेक्शन छोड़ें" तकनीक को संदर्भित करते हैं। नेटवर्क में स्किप ब्लॉक हैं, जो एनकोडर और डिकोडर में परस्पर जुड़े हुए हैं।

बैच सामान्यीकरण एक समस्या है

लगभग सभी आधुनिक पंथ संबंधी तंत्रिका नेटवर्क प्रशिक्षण प्रक्रिया को तेज करने और स्थिर करने के लिए बैच सामान्यीकरण या इसके एक एनालॉग का उपयोग करते हैं। प्रत्येक चैनल की सक्रियता चैनल मापदंडों की एक जोड़ी से पहले 0 से मानक विचलन और 1 से मानक विचलन को स्थानांतरित करती है $$$\ बीटा$और $$$गामा$उन्हें फिर से असामान्य होने दें।

$$$y = \ frac {x - \ mathrm {E} [x]} {\ sqrt {\ _ mathrm {Var} [x] + \ epsilon}} * * गामा + \ बीटा$

दुर्भाग्य से, बैच सामान्यीकरण जनरेटर को परेशान करता है, जिससे नेटवर्क के लिए कुछ प्रकार की छवि प्रसंस्करण को लागू करना मुश्किल हो जाता है। छवियों के एक बैच को सामान्य करने के बजाय, pix2pixHD एक सामान्यीकरण मानक का उपयोग करता है, जो प्रत्येक छवि को व्यक्तिगत रूप से सामान्य करता है।

Pix2pixHD प्रशिक्षण

आधुनिक GANs, जैसे कि pix2pixHD और SPADE, उनके आउटपुट चित्रों के यथार्थवाद को जेनरेट करने वाले विवाद नेटवर्क के मूल डिजाइन के लिए थोड़े अलग तरीके से वर्णित करते हैं।

उच्च-रिज़ॉल्यूशन छवियों को उत्पन्न करने की समस्या को हल करने के लिए, pix2pixHD एक ही संरचना के तीन विभेदकों का उपयोग करता है, जिनमें से प्रत्येक को अलग-अलग पैमाने पर आउटपुट छवि प्राप्त होती है (सामान्य आकार, 2 गुना कम और 4 गुना कम)।

Pix2pixHD का उपयोग करता है $$$V_ \ text {LSGAN}$, और जनरेटर के निष्कर्ष को अधिक यथार्थवादी बनाने के लिए डिज़ाइन किया गया एक अन्य तत्व भी शामिल है (चाहे वह भेदभाव करने वाले को धोखा देने में मदद करता हो)। यह आइटम $$$\ mathcal {L} _ \ text {FM}$"फीचर मैचिंग" कहा जाता है - यह जेनरेटर को परतों के वितरण को प्रोत्साहित करने के लिए प्रोत्साहित करता है जब वास्तविक डेटा और जनरेटर के आउटपुट के बीच भेदभाव को कम करते हुए, कम से कम $L_1 दूरी$उनके बीच।

इसलिए, अनुकूलन निम्न के लिए आता है:

$$$ $ प्रदर्शन $ $ \ शुरू {समीकरण *} \ min_G \ bigg (\ lambda \ sum_ {k = 1,2,3} V_ \ text {LSGAN} (G, D_k) + \ बड़ा (\ max_ / D_1, D_2) , D_3} \ sum_ {k = 1,2,3} \ mathcal {L} _ \ text {FM} (G, D_k) \ big) \ bigg) \ end {समीकरण *}, $ $ $ $ प्रदर्शित

जहां नुकसान तीन विभेदक कारकों और गुणांक द्वारा अभिव्यक्त किया जाता है $$$\ lambda = 10$, जो दोनों तत्वों की प्राथमिकता को नियंत्रित करता है।


pix2pixHD एक नकली बेडरूम (प्रत्येक उदाहरण में बाईं ओर) से बना एक विभाजन मानचित्र का उपयोग करता है ताकि नकली बेडरूम (दाईं ओर) बनाया जा सके।

हालांकि भेदभाव करने वाले छवि पैमाने को कम करते हैं जब तक कि वे पूरी छवि को अलग नहीं करते हैं, वे आकार 70 × 70 (उपयुक्त तराजू पर) के "स्पॉट" पर रोकते हैं। फिर वे पूरी छवि के लिए इन "स्पॉट" के सभी मूल्यों को संक्षेप में प्रस्तुत करते हैं।

और फ़ंक्शन के बाद से यह दृष्टिकोण ठीक काम करता है $$$\ mathcal {L} _ \ text {FM}$, , $$$V_\text{LSGAN}$. , .


pix2pixHD . CelebA , .

pix2pixHD?

, . , pix2pixHD .

, pix2pixHD , , , . , . «» () $$$0$. β- , : , «», «», «» - .


pix2pixHD . , , .

— SPADE.

: SPADE

- : - () (SPADE).

SPADE , , γ, β, , . , 2 .


, SPADE .

SPADE « », ( ):


SPADE pix2pixHD

, «» , . GAN, . (« »). «» pix2pixHD, .

SPADE , pix2pixHD, : $$$V_\text{LSGAN}$hinge loss .

:


SPADE pix2pixHD

, SPADE . . GauGAN «» , . , - SPADE , «» , .

, SPADE , «» .



, , «». SPADE , , ? 55, «».

, , 5x5 . , .

SPADE , , , , pix2pixHD. , .

SPADE — (, , , ).


SPADE , .

: , $$$Z$, . , , SPADE , , .

, . , , .

इस तरह SPADE / GaiGAN कार्य करता है। मुझे उम्मीद है कि इस लेख ने नई NVIDIA प्रणाली के काम करने के तरीके के बारे में आपकी जिज्ञासा को संतुष्ट किया है। आप मुझसे ट्विटर @AdamDanielKin या ईमेल adam@AdamDKing.com के माध्यम से संपर्क कर सकते हैं।