स्थिरता GAN लर्निंग (गहरी खुदाई)

पिछले लेख में, खिलौना मॉडल के उदाहरण का उपयोग करते हुए, मैंने विश्लेषण करने की कोशिश की कि वास्तव में, हम GANs को प्रभावी रूप से प्रशिक्षित करने में सक्षम क्यों हैं। अब हम कुछ परिणामों को संक्षेप में प्रस्तुत करने की कोशिश करेंगे और सबसे महत्वपूर्ण बात यह जानने की कोशिश करेंगे कि तंत्रिका नेटवर्क की वास्तुकला सीखने की प्रक्रिया की स्थिरता को कैसे प्रभावित करती है।

परिचय

आप GAN अधिगम प्रक्रिया को विचलन की निचली सीमा को कम करने की प्रक्रिया के रूप में या एक विभेदक और एक जनरेटर से मिलकर एक गतिशील प्रणाली के रूप में देख सकते हैं। पहला दृष्टिकोण बहुत अच्छी तरह से विकसित किया गया है, अगर कोई भी दिलचस्पी इस विषय पर बहुत सारे दिलचस्प काम पा सकता है, तो मैं अपनी राय में केवल सबसे महत्वपूर्ण बात दूंगा: एफ-गण , डब्ल्यूजीएएन । दूसरी ओर, द न्यूमेरिक्स ऑफ गन्स, लार्स मेसचेदर एट अल, 2017 ने दिखाया कि कोई केवल GAN को न्यूनतम विचलन को कम करने की स्थिति से नहीं देख सकता है (हालांकि यह मुख्य लक्ष्य है), लेकिन डायनेमिक सिस्टम के गुणों को ध्यान में रखना आवश्यक है। हमारा लक्ष्य इन दोनों दृष्टिकोणों को जोड़ना है और देखना है कि इस तरह के एक गतिशील प्रणाली के प्रक्षेपवक्र में क्या सैद्धांतिक गुण होंगे।

अगला, हम GAN कार्यात्मक (GAN उद्देश्य) के एक सामान्य रूप पर विचार करेंगे।

$$

$$I (\ theta, \ phi) = \ \ int {p_d (x) f_D (D_ \ theta (x)) dx \ + \ int {p (\ epsilon) f_G (D_ \ _ta) (G_ \ phi (\) epsilon)) d \ epsilon}}$$

जहाँ $$$$ थीटा$ - विभेदक मापदंडों, $$$\ phi$ - जनरेटर मापदंडों। और हम यह भी मानते हैं कि जनरेटर और भेदभावकर्ता दो अलग-अलग कार्य हैं।

सीखने की प्रक्रिया गणितीय रूप से तैयार की जा सकती है:

$$

$$\ अंडरस्सेट {\ phi} {min} \ {\ अंडरस्सेट {\ थीटा} {अधिकतम} मैं (\ थीटा, \ phi) \}$$

विश्राम का बिंदु

जीएएन पर भारी मात्रा में काम करने के बावजूद, एक मौन बिंदु के अस्तित्व का सवाल खुला रहता है। अब हम इस प्रश्न का उत्तर देने का प्रयास करेंगे।

मान लीजिए (मान 1 ) कि किसी भी जनरेटर के लिए एक भेदभाव अधिकतम मौजूद है

$$

$$I (\ theta, \ phi)$$

यानी फंक्शन

$$

$$\ theta_ {ऑप्ट} = \ अंडरस्सेट {\ थीटा} {argmax} \ {I (\ थीटा, \ phi) \}$$

किसी भी मूल्य के लिए परिभाषित किया गया है $$$\ phi$ । यद्यपि यह संभव है और अस्पष्ट है - अर्थात, कई अलग-अलग इष्टतम भेदभावकर्ता हैं। हम ऐसे इष्टतम विभेदकों के पूरे सेट को "पुनर्मूल्यांकन," और सेट कहेंगे $$$\ {\ थीटा_ {ऑप्ट} \}$ विभेदक पुनर्संयोजन का सेट। आइए एक छोटा सा स्पष्टीकरण करें - अधिकतम से हमारा तात्पर्य केवल वैश्विक अधिकतम नहीं है, बल्कि कोई भी स्थानीय अधिकतम है।

गणितीय $$$\ theta_ {ऑप्ट}$ समीकरणों की प्रणाली द्वारा निर्धारित:

$$

$$\ nabla_ \ theta I (\ theta_ {opt}, \ phi) = 0$$

$$

$$\ nabla_ \ theta ^ 2 I (\ theta, \ phi) \ preceq 0$$

यद्यपि यदि जनरेटर और भेदभाव करने वाले तंत्रिका नेटवर्क हैं, और हम छवि जनरेटर को प्रशिक्षित करते हैं, तो यह धारणा पूरी नहीं होती है। निम्नलिखित लेखों में मैं दिखाऊंगा कि एक साधारण रेगुलराइज़र की मदद से इसे कैसे प्राप्त किया जा सकता है, लेकिन अभी के लिए मुझे इस पर विश्वास करना होगा।

दूसरी धारणा (मान 2 ) यह है कि जनरेटर के मापदंडों में किसी भी असीम रूप से छोटे परिवर्तन के लिए, वर्तमान के करीब एक इष्टतम भेदभाव करनेवाला असीम रूप से है। आप यह पता लगाने की कोशिश कर सकते हैं कि यह तंत्रिका नेटवर्क के लिए कब किया गया है, लेकिन यह मुझे लगता है कि यह एक सहज आवश्यकता है और उच्च संभावना के साथ यह काफी लचीले नेटवर्क के लिए पूरा होता है।

गणितीय रूप से, इस आवश्यकता को निम्नानुसार तैयार किया जा सकता है: समीकरणों की एक प्रणाली

$$

$$\ nabla_ \ theta ^ 2 I (\ theta_ {opt}, \ phi) d \ theta = - \ nabla _ {\ _ theta \ phi} मैं (\ theta_ {opt}, \ phi) d \ phi \; \; ;;; (१)$$

निर्णय लिए हैं $$$डी \ थीटा$ किसी भी पर $$$d \ phi$ ।
यह स्थिति आसानी से सड़न से प्राप्त होती है $$$\ nabla_ \ theta I (\ theta_ {opt}, \ phi) = 0$ टेलर की एक पंक्ति में।

अब हम यह दर्शाते हैं कि, धारणा 2 के तहत , जनरेटर की ढाल $$$\ nabla_ \ phi I (\ theta_ {opt}, \ phi)$ अगर हम विवेचक पुनर्मूल्यांकन सेट के साथ आगे बढ़ते हैं तो यह नहीं बदलता है। गणितीय रूप से सेट किए गए पुनरावर्तन के साथ आगे बढ़ने का मतलब है कि $$$\ डेल्टा \ थीटा$ कोर से संबंधित है $$$\ nabla_ \ theta ^ 2 I (\ थीटा, \ phi)$ अर्थात्:

$$

$$\ nabla_ \ theta I (\ theta_ {opt}, \ phi) = \ nabla_ \ the थीटा I (\ theta_ {opt} + d \ theta_ {opt}, \ phi) = $$$

आइए एक टेलर श्रृंखला में विस्तार करें:

$$

$$\ nabla_ \ phi I (\ theta_ {opt} + d \ theta_ {opt}, \ phi) = \ nabla_ \ phi I (\ theta_ {opt}, \ phi) + nabla _ {\ phi \ theta} I ( \ Theta, \ phi) d \ theta_ {opt}$$

जहां से, ताकि ढाल बदल न जाए, यह आवश्यक है कि $$$d \ theta_ {ऑप्ट}$ कोर के थे $$$\ nabla _ {\ phi \ theta} मैं (\ theta, \ phi)$ । लेकिन अगर $$$d \ theta_ {ऑप्ट}$ कोर से संबंधित है $$$\ nabla_ \ theta ^ 2 I (\ थीटा, \ phi)$ और (1) रखती है, तब $$$d \ theta_ {ऑप्ट}$ कोर से संबंधित है $$$\ nabla _ {\ phi \ theta} मैं (\ theta, \ phi)$ । यह (1) गुणा करके दिखाना आसान है $$$d \ theta_ {ऑप्ट}$ और उस पर विचार करना $$$d \ phi$ कोई भी हो सकता है:

$$

$$d \ theta_ {opt} ^ T \ nabla_ \ theta ^ 2 I ((theta_ {opt}, \ phi) d \ theta = -d \ theta_ {opt} ^ T \ nabla _ \ _ta \ phi} I (\) थीटा_ {ऑप्ट}, \ phi) d \ phi = 0$$

हमने सिर्फ इस अद्भुत तथ्य को साबित किया कि ग्रेडिएंट $$$\ nabla_ \ phi \ underset {\ theta} {max} \ {I (\ theta, \ phi) \}$ कोई फर्क नहीं पड़ता कि कौन चुना गया है $$$$ थीटा$ विवेचक के पुनर्मूल्यांकन के सेट से, जिसका अर्थ है $$$\ अंडरस्सेट {\ थीटा} {अधिकतम} I (\ थीटा, \ phi)$ का एक अलग प्रकार्य है $$$\ phi$ और हम ढाल अनुकूलन विधियों का उपयोग करके इसे कम कर सकते हैं।

इस फ़ंक्शन के न्यूनतम के बारे में क्या कहा जा सकता है? दुर्भाग्य से, अब तक कोई सामान्य निष्कर्ष नहीं निकाला जा सकता है। हमें विवेचक के गुणों के बारे में एक और धारणा (मान 3 ) बनानी होगी, अर्थात् $$$\ अंडरस्सेट {\ थीटा} {अधिकतम} I (\ थीटा, \ phi) \ geq 0$ । मैट विश्लेषण से हमें पता चलता है कि नीचे बंधा हुआ एक सतत कार्य या तो इसके न्यूनतम मान तक पहुँचता है, या वहाँ मौजूद है, जो अंकों के नीरस घटते क्रम (यानी, फ़ंक्शन अनंत पर अपने न्यूनतम तक पहुँचता है)।

मान लिया गया है कि कोई भी बात नहीं है कि हमने किस बिंदु से विवेचक (तंत्रिका नेटवर्क को शुरू करना) का प्रशिक्षण शुरू किया है, इष्टतम विभेदक हमेशा जनरेटर से नमूनों की तुलना में डेटा को एक उच्च (या बराबर) मान (औसतन) प्रदान करता है और विपरीत करने वाला कोई भी भेदभाव इष्टतम नहीं हो सकता है। मेरी राय में, यह धारणा आंतरिक रूप से बहुत तार्किक है और पर्याप्त रूप से लचीले तंत्रिका नेटवर्क को इसे संतुष्ट करना चाहिए। वैसे, यह दिखाना आसान है कि रैखिक भेदभाव करने वाला इस धारणा को संतुष्ट करता है।

"इष्टतम प्रक्षेपवक्र"

हमें अभी पता चला है कि यदि विवेचक पर्याप्त रूप से "नरम" मान्यताओं को संतुष्ट करता है, तो या तो शेष बिंदु मौजूद है या यह अनंत पर स्थित है और हम इसे स्पर्शोन्मुख रूप से देख सकते हैं।

ऐसा करने के लिए, मान लीजिए कि $$$$ थीटा$ और $$$\ phi$ वर्तमान मापदंडों और विवेचक को अभिसरण करने के लिए प्रशिक्षित किया जाता है। अब हम जनरेटर को थोड़ा बदल देते हैं ( $$$\ phi_ {k + 1} = \ phi_k + d \ phi$ ) ताकि $$$\ underset {\ theta} {argmax} \ {I (\ theta, \ phi) \}$ घट जाती है - उदाहरण के लिए, हम ग्रेडिएंट वंश का एक कदम उठाते हैं। हमें विवेचक को कैसे अपडेट करना चाहिए? इसका उत्तर सूत्र द्वारा दिया गया है (1):

$$

$$d \ theta = - \ nabla_ \ theta ^ 2 I (\ theta, \ phi) ^ \ dagger \ nabla _ {\ ata \ phi} मैं (\ theta, \ phi) d_ phi \; \; \; \; (२)$$

जहाँ $$$\ nabla_ \ theta ^ 2 I (\ theta, \ phi) ^ \ dagger$ एक छद्म बिंदु मैट्रिक्स है।
गणितीय रूप से कठोर होने के लिए, तब सूत्र (2) पैरामीटर स्पेस में सतह पर स्पर्शरेखा हाइपरप्लेन को निर्धारित करता है, जिस पर इष्टतम विभेदक "लाइव" होते हैं। हम इस सतह को "इष्टतम" कहेंगे।

लेकिन क्या होगा यदि हम एक बहुत करीबी बिंदु से शुरू करते हैं, लेकिन फिर भी वहां के भेदभावपूर्ण नहीं थे। जाहिर है, हमारे सूत्र पूरी तरह से अप्रत्याशित प्रक्षेपवक्र का वर्णन करते हैं, क्योंकि यह केवल इष्टतम विभेदकों के लिए प्राप्त किया गया था। आइए इस स्थिति को ठीक करने का प्रयास करें। इस मामले में, न केवल "इष्टतम" सतह के समानांतर, बल्कि इसके प्रति भी बढ़ना तर्कसंगत होगा। जाहिर है, न्यूटन की विधि द्वारा इंगित दिशा में एक कदम इसके लिए काफी उपयुक्त है। हमारा अंतिम सूत्र इस तरह दिखेगा:

$$

$$d \ theta = - \ nabla_ \ theta ^ 2 I (\ theta, \ phi) ^ \ dagger [\ nabla_ \ the थी I (\ theta, \ phi) + \ nabla \ {theta \ phi} I (\ theta) \ phi) d \ phi] \; \; \; \; (३)$$

हमने अभी क्या किया है? सबसे पहले, ध्यान दें कि एक इष्टतम सतह पर $$$\ nabla_ \ theta I (\ theta, \ phi) = 0$ , यानी। अगर अगर $$$$ थीटा$ क्या विवेचक को अभिसरण के लिए प्रशिक्षित किया गया था, तब हमने प्रक्षेपवक्र को नहीं बदला। दूसरी ओर, अगर हमने "इष्टतम" बिंदु के पास कहीं शुरू किया है, तो अतिरिक्त शब्द "इष्टतम" विशेषण पर हमें "खींच" देगा। यही है, हमने शोर के लिए "इष्टतम" प्रक्षेपवक्र प्रतिरोधी बनाया।

दुर्भाग्य से, मैं इसे गणितीय रूप से साबित नहीं कर सकता। लेकिन हमें इसकी आवश्यकता नहीं है। आइए सूत्र पर ध्यान दें (3), इसे फॉर्म में फिर से लिखा जा सकता है:

$$

$$d \ theta = - \ nabla_ \ theta ^ 2 I (\ theta, \ phi) ^ \ dagger \ nabla_ \ the थी I (\ थीटा, \ phi + d \ phi)$$

क्या कुछ भी समान नहीं है? यह लगभग न्यूटन की विधि जैसा दिखता है। इससे पता चलता है कि जेनरेटर और डिस्क्रिमिनेटर पैरामीटर्स के अद्यतन (अंग्रेजी भाषा में साहित्य वैकल्पिक रूप से उपयोग करता है), जहां न्यूट्रॉन विधि द्वारा डिस्क्रिमिनेटर को अपडेट किया जाता है (वास्तव में, हमें न्यूटन का पूरा कदम उठाने की जरूरत नहीं है, लेकिन हम न्यूटन की विधि द्वारा इंगित दिशा में एक छोटा कदम उठा सकते हैं), और जनरेटर, आम तौर पर बोल, किसी भी दिशा में एक कदम उठा सकता है, मुख्य बात यह है कि घटाना है $$$\ underset {\ theta} {argmax} \ {I (\ theta, \ phi) \}$ एक इष्टतम प्रक्षेपवक्र के साथ गति का एक अच्छा अनुमान है।

वैसे, शायद यही वह जगह है जहाँ जीएएन प्रशिक्षण में एडम की सफलता निहित है। आखिरकार, यह सर्वविदित है कि एडम हेस्सियन को अनुमानित करने की कोशिश करता है और इस जानकारी का उपयोग ढाल के चरण के लिए करता है (न्यूटन की विधि का अनुमान लगाता है)।

प्रक्षेप की स्थिरता

प्रक्षेपवक्रों की स्थिरता का विश्लेषण करने के लिए, हम उन्हीं उपकरणों का उपयोग करेंगे, जिनका उपयोग GANs के लिए प्रशिक्षण विधियों में वास्तव में परिवर्तित होते हैं? । जिस किसी के पास समय है, मैं सलाह देता हूं कि आप इस काम को अच्छी तरह से समझें, यह इसके लायक है।

मेरा मानना ​​है कि इस लेख का मुख्य दोष यह है कि लेखक बाकी बिंदु पर सिस्टम की स्थिरता का विश्लेषण करते हैं, जो कि ज्यादातर वास्तविक जीएएन (खिलौना 2 डी या 3 डी उदाहरणों के लिए, निश्चित रूप से यह संभव है) के लिए मौजूद नहीं है। मेरा मतलब है, सामान्य तौर पर, कोई आराम बिंदु नहीं है, और जिस बिंदु पर जनरेटर का डेटा के समान वितरण होता है, और विवेचक 0. के समान है, इसलिए, हम बाकी बिंदु पर सिस्टम की स्थिरता का विश्लेषण नहीं करेंगे, हम थोड़ा अलग तरीके से जाएंगे - हम सिस्टम प्रक्षेपवक्र की स्थिरता का विश्लेषण करने का प्रयास करेंगे । यद्यपि इस विश्लेषण को आराम बिंदु पर आसानी से स्थानांतरित किया जा सकता है, बाकी बिंदु भी एक प्रक्षेपवक्र है।

अध्ययन किए गए प्रक्षेपवक्रों के रूप में, हम ढाल वंश द्वारा प्रशिक्षण के दौरान प्राप्त प्रक्षेपवक्रों का चयन करते हैं। यह महत्वपूर्ण क्यों है? सबसे पहले, हमें पता चला कि "इष्टतम" प्रक्षेपवक्र क्या है और पाया गया कि न्यूटन की विधि द्वारा इंगित दिशा में भेदभावपूर्ण अपडेट द्वारा इसे अच्छी तरह से अनुमानित किया जा सकता है। और न्यूटन की विधि सबसे ढाल विधि है जो दिशा को समायोजित करने के लिए दूसरे डेरिवेटिव से जानकारी का उपयोग करती है। लेकिन हम ऐसा क्यों कर रहे हैं इसका मुख्य कारण है - क्योंकि हम कर सकते हैं। इससे कोई भी विचलन ऐसे पागल सूत्रों की ओर जाता है कि वहां कुछ भी समझना असंभव है।

प्रक्षेपवक्र की स्थिरता का विश्लेषण करने का मानक तरीका रैखिककृत मॉडल का विश्लेषण करना है। गण के लिए कौन से प्रशिक्षण विधियों के लेखकों के समान वास्तव में परिवर्तित होते हैं? हम याकूब के प्रक्षेपवक्र का पता लगाएंगे:

$$

$$A = \ start {bmatrix} \ nabla_ \ theta ^ 2 I (\ theta, \ phi) & \ nabla _ {\ theta \ phi} ^ 2 मैं (\ theta, \ phi) \\ - \ nabla _ {\ theta \ _ phi} ^ 2 I (\ theta, \ phi) ^ T & - \ nabla_ \ phi ^ 2 I (\ theta, \ phi) \ end {bmatrix}$$

$$

$$J = I + \ eta A$$

जहाँ $$$मैं$ पहचान मैट्रिक्स है।

हम मानते हैं कि भेदभाव करनेवाला, हालांकि इष्टतम नहीं है, प्रदर्शन करने के लिए इष्टतम एक के करीब पर्याप्त है $$$\ nabla_ \ theta ^ 2 I (\ theta, \ phi) \ preceq 0$ । और यह भी कि नियमित रूप से (मैंने पहले ही उल्लेख किया है कि वास्तविक GAN में भेदभावकर्ता के पास एक इष्टतम बिंदु नहीं है और हमें नियमित रूप से सहायता से इस बिंदु को बनाना होगा) जनरेटर से ईर्ष्या नहीं है। मैं थोड़ा आगे चला जाऊंगा - अभ्यास में हमें जो सबसे अच्छा नियमित रूप से मिला है वह निर्भर करता है, लेकिन हमारे सैद्धांतिक अध्ययनों के लिए यह धारणा हमें इतना सीमित नहीं करती है।

निम्न के लिए, हमें मेट्रिसेस के बारे में एक प्राथमिक तथ्य की आवश्यकता है: यदि $$$\ nabla_ \ theta ^ 2 I (\ theta, \ phi) \ preceq 0$ और $$$\ nabla_ \ phi ^ 2 I (\ theta, \ phi) \ succeq 0$ , तो है $$$\ eta> 0$ मैट्रिक्स का वर्णक्रमीय मान क्या है $$$जे$ 1 से कम या इसके बराबर होगा।
प्रमाण प्राथमिक है - हम लिखते हैं $$$जे ^ टी जे$ :

$$

$$J ^ T J = [I + \ eta A] ^ T [I + \ eta A] = I + \ eta [A + A ^ T + \ eta (A ^ T A)]$$

लेकिन:

$$

$$A + A ^ T = \ start {bmatrix} 2 \ nabla_ \ theta ^ 2 I (\ theta, \ phi) & 0 \\ 0 & -2 \ nabla_ \ phi ^ 2 I (\ थीटा, \ phi) \ अंत {bmatrix}$$

इसलिए, आइजनवेल्स की निरंतरता के कारण, यह स्पष्ट है कि ऐसा है $$$\ eta> 0$ कि eigenvalues $$$जे ^ टी जे$ 1 से कम या इसके बराबर होगा। इसमें से इस तथ्य की आवश्यकता है कि हमें इसकी आवश्यकता है $$$\ left \ | J \ _ \ _ | \ leqllant 1$ ।

हमें पता है कि हमारे प्रक्षेपवक्र पर $$$\ nabla_ \ theta ^ 2 I (\ theta, \ phi) \ preceq 0$ प्रदर्शन (चूंकि प्रक्षेपवक्र "इष्टतम" है) और अगर वहाँ थे $$$\ nabla_ \ phi ^ 2 I (\ theta, \ phi) \ succeq 0$ तब कोई भी प्रक्षेपवक्र (संतुलन बिंदु सहित) स्थिर होगा - अर्थात्, प्रक्षेपवक्र से थोड़ा विचलन के साथ, सिस्टम इसे वापस करना चाहेगा। यह स्पष्ट है क्योंकि किसी भी असतत प्रक्षेपवक्र को जेकोबियंस के उत्पाद के रूप में दर्शाया जा सकता है, और 1 से कम या उससे अधिक के मानदंड वाले मेट्रिक्स के उत्पाद का मान 1 से अधिक नहीं हो सकता है।

लेकिन कई महान तथ्यों का कहना है कि GAN के लिए हमेशा ऐसा नहीं होता है। एक हड़ताली उदाहरण पतन मोड है, जो, इसके अलावा, हमेशा नहीं होता है और सभी मॉडलों के लिए नहीं होता है। मेरा तर्क है कि जीएएन प्रशिक्षण की जटिलता दो तथ्यों से संबंधित है: कोई इष्टतम भेदभाव करनेवाला (एक नियमित द्वारा इलाज) है और जनरेटर का जैकबियन एक गैर-नकारात्मक निश्चित मैट्रिक्स नहीं है। अब हम यह समझने की कोशिश करेंगे कि कैसे, अगर पूरी तरह से दूसरी समस्या से छुटकारा नहीं मिलता है, तो कम से कम स्थिरता पर इसके प्रभाव को कम से कम करें।

ऐसा करने के लिए, हम जनरेटर के याकूब को लिखते हैं। इसमें तीन घटक शामिल होंगे:

$$

$$J_1 = \ int {p (\ epsilon) f_G '' (D_ \ theta (G_ \ phi (\ epsilon))) [\ nabla_ \ phi G_ \ phi (\ epsilon) \ nabla_x D_ \ theta (G_ \ phi () \ epsilon))] [\ nabla_ \ phi G_ \ phi (\ epsilon) \ nabla_x D_ \ theta (G_ \ phi (epsilon))] ^ ^ d \ epsilon}$$

$$

$$J_2 = \ int {p (\ epsilon) f_G '(D_ \ theta (G_ \ phi (epsilon))) \ nabla_ \ phi ^ 2 G_ \ phi (\ epsilon) \ nabla_x D_ \ theta (G_ \ phi) ( \ epsilon)) d \ epsilon}$$

$$

$$J_3 = \ int {p (\ epsilon) f_G '(D_ \ theta (G_ \ phi (epsilon)))) \ nabla_ \ phi G_ \ phi (\ epsilon) ^ T \ nabla_x ^ 2 D_ \ _ theta (G_ \ _) phi (\ epsilon)) \ nabla_ \ phi G_ \ phi (\ epsilon) d \ epsilon}$$

चूंकि जैकबियन के लिए भाव बहुत जटिल हैं और किसी भी प्रकार की संरचना को देखना असंभव है, हमारे सभी कार्यों का उद्देश्य यह सुनिश्चित करना होगा कि ये मैट्रिसेस यथासंभव 0 के करीब हैं।

$$$J_1$ यह देखा जा सकता है कि यह शब्द रीसेट करने के लिए बहुत आसान है - बस फ़ंक्शन का चयन करें $$$f_G$ ऐसा है $$$f_G '' (x) = 0$ या इसलिए कि "ऑपरेटिंग बिंदु" उस क्षेत्र में है जहां दूसरी व्युत्पन्न 0. के करीब है। वैसे, फ़ंक्शन का विकल्प $$$f_G '' (x) = 0$ WGAN के साथ शिकायत। क्या WGAN अपनी स्थिरता के लिए जाना जाता है?

अन्य दो शर्तें केवल तंत्रिका नेटवर्क की वास्तुकला से प्रभावित हो सकती हैं। उदाहरण के लिए, वे एक रेखीय जनरेटर और डिस्क्रिमिनेटर के मामले में शून्य हैं (दूसरा डेरिवेटिव शून्य हैं)। वैसे, ReLU सक्रियण ध्यान में आता है - दुर्भाग्य से यह विश्लेषण ऐसे नेटवर्क के लिए लागू नहीं है, क्योंकि भिन्नता की धारणा का उल्लंघन किया जाता है। लेकिन अभ्यास से यह पता चलता है कि वास्तव में टुकड़े के साथ तंत्रिका नेटवर्क वाले GANs रैखिक सक्रियण को हाइपरबोलिक स्पर्शरेखा की तुलना में अधिक स्थिर प्रशिक्षित किया जाता है, उदाहरण के लिए। चाहे यह जैकबियन के कारण हो या कोई और महत्वपूर्ण कारण हो, इसका अनुमान लगाया जाना बाकी है, लेकिन भविष्य में मेरी योजना इस मुद्दे की थोड़ी जांच करने की है।

हम यह भी निष्कर्ष निकाल सकते हैं कि GAN व्यापक नेटवर्क को "पसंद" करता है। वास्तव में, हम जानते हैं कि गहरे नेटवर्क वाले GAN अधिक बार ध्वस्त हो जाते हैं।

निष्कर्ष

इस लेख में, मैंने GAN सिद्धांत में लंबे समय तक चलने वाले सवालों के जवाब देने की कोशिश की। आप और मैंने देखा कि बाकी बिंदु के अस्तित्व के लिए, यह पर्याप्त है कि भेदभाव करने वाले के पास काफी सरल गुण हैं। हमने यह भी देखा कि GAN के प्रायवेसी (न्यूनतम विचलन) की व्याख्या जीवन के सभी अधिकार हैं और काफी सरल एल्गोरिथ्म के साथ हम "इष्टतम" प्रक्षेपवक्र को बहुत अच्छी तरह से समझ सकते हैं। और यह भी कि एडम एल्गोरिथ्म पहले से ही ऐसा करता है और सिद्धांत में जीएएन प्रशिक्षण को स्थिर करना चाहिए, जिस तरह से कई कार्यों में नोट किया गया है।

फिर भी, जो काफी महत्वपूर्ण है, हमने देखा कि तंत्रिका नेटवर्क की वास्तुकला और नुकसान कार्यों को चुनने के लिए अनुभवजन्य सिफारिशें सिद्धांत के अनुरूप हैं। और सबसे महत्वपूर्ण बात, गैर-रैखिकता के कारण सीखने में सभी समस्याएं - रेखीय मॉडल बहुत ही प्रशिक्षित हैं।

लेख से क्या बचा है? अभ्यास। अगले लेख में, मैं नियमित रूप से वर्णन करूंगा कि मैं GAN सीखने की प्रक्रिया की स्थिरता में सुधार करने के लिए विवेचक और ट्रिक्स का एक गुच्छा प्रदान करने के लिए एक आराम बिंदु प्रदान करता हूं (वैसे, उनमें से कुछ इस विश्लेषण से प्रेरित हैं)।

और एक उदाहरण के रूप में, एक गहरा नेटवर्क (जनरेटर की 50 परतें और भेदभाव की 50 परतें) LSUN बेडरूम डेटासेट पर प्रशिक्षित (केवल 100 हजार पुनरावृत्तियों और हमने जनरेटर औसत का उपयोग नहीं किया)