वैरिएशन इंजेक्शन - यह क्या है और यह क्या खाता है?

नमस्कार, हेब्र!

हाल ही में मैंने एक सहकर्मी ऑटो-एनकोडर के बारे में सहकर्मियों के साथ बात की और यह पता चला कि डीप लर्निंग में काम करने वाले भी वैरिएशन इंट्रेंस (वैरिएशन इंट्रेंस) के बारे में जानते हैं और विशेष रूप से, लोअर वैरिएबल बाउंड्री केवल हार्स द्वारा और यह पूरी तरह से समझ में नहीं आता है कि यह क्या है।
इस लेख में मैं इन मुद्दों का विस्तार से विश्लेषण करना चाहता हूं। कौन परवाह करता है, मैं कटौती के लिए पूछता हूं - यह बहुत दिलचस्प होगा।

परिवर्तनशील आक्षेप क्या है?

मशीन लर्निंग के परिवर्तनशील तरीकों के परिवार को गणितीय विश्लेषण "भिन्नतावादी कलन" के अनुभाग से इसका नाम मिला। इस खंड में, हम क्रियाओं की विलुप्तता के लिए खोज करने की समस्याओं का अध्ययन करते हैं (एक कार्य फ़ंक्शन का एक फ़ंक्शन है - अर्थात, हम उन चर के मानों की तलाश नहीं कर रहे हैं जिनमें फ़ंक्शन अपनी अधिकतम (न्यूनतम) तक पहुंचता है, लेकिन ऐसा फ़ंक्शन जिसमें कार्यात्मक अधिकतम (न्यूनतम) तक पहुंचता है।

लेकिन सवाल उठता है - मशीन लर्निंग में, हम हमेशा मापदंडों (चर) के स्थान में एक बिंदु की तलाश करते हैं जिसमें नुकसान फ़ंक्शन का न्यूनतम मूल्य होता है। यही है, यह शास्त्रीय गणितीय विश्लेषण का कार्य है, और यहां विविधताओं की गणना है? रूपांतरों की गणना उस समय दिखाई देती है जब हम हानि फ़ंक्शन को किसी अन्य हानि फ़ंक्शन में परिवर्तित करते हैं (अक्सर यह कम परिवर्तनीय सीमा होती है) विविधताओं की गणना के तरीकों का उपयोग करते हुए।

हमें इसकी आवश्यकता क्यों है? क्या नुकसान फ़ंक्शन को सीधे अनुकूलित करना संभव नहीं है? हमें इन तरीकों की आवश्यकता है जब एक निष्पक्ष ग्रेडिएंट अनुमान को सीधे प्राप्त करना असंभव है (या इस अनुमान में बहुत अधिक फैलाव है)। उदाहरण के लिए, हमारा मॉडल सेट करता है $$$p (z)$ और $$$p (x / z)$ , और हमें गणना करने की आवश्यकता है $$$p (x) = \ int (p (z) p (x / z) dz)$ । यह वैसा ही है जैसा कि वैरिएबल ऑटो एनकोडर के लिए डिज़ाइन किया गया था।

वैरिएंट लोअर बाउंड क्या है?

सोचिए हमारा कोई फंक्शन है $$$च (x)$ । इस फ़ंक्शन पर निचला बाउंड किसी भी फ़ंक्शन होगा $$$g (x)$ समीकरण को संतुष्ट करना:

$$

$$g (x) <= f (x)$$

यही है, किसी भी फ़ंक्शन के लिए असंख्य कम सीमाएं हैं। क्या ये सभी निचली सीमाएँ समान हैं? बिल्कुल नहीं। हम एक और अवधारणा पेश करते हैं - विसंगति (मुझे रूसी-भाषा के साहित्य में एक स्थापित शब्द नहीं मिला, इस मूल्य को अंग्रेजी भाषा के लेखों में जकड़न कहा जाता है):

$$

$$\ डेल्टा = अधिकतम {f (x)} - अधिकतम {g (x)}$$

स्पष्ट रूप से पर्याप्त है, अवशिष्ट हमेशा सकारात्मक होता है। अवशिष्ट जितना छोटा होगा, उतना अच्छा होगा।

यहाँ शून्य अवशिष्ट के साथ एक कम बाउंड का उदाहरण दिया गया है:

और यहाँ एक छोटा लेकिन सकारात्मक अवशिष्ट के साथ एक उदाहरण है:

और अंत में, एक बड़ी विसंगति:


उपरोक्त ग्राफ़ से, यह स्पष्ट रूप से देखा जाता है कि शून्य अवशिष्ट पर, अधिकतम फ़ंक्शन और निचली सीमा की अधिकतम एक ही बिंदु पर होती है। यही है, अगर हम किसी फ़ंक्शन का अधिकतम पता लगाना चाहते हैं, तो हम निचली सीमा की अधिकतम खोज कर सकते हैं। यदि विसंगति शून्य नहीं है, तो ऐसा नहीं है। और निचली सीमा की अधिकतम वांछित अधिकतम से (एक्स अक्ष के साथ) बहुत दूर हो सकती है। रेखांकन बताते हैं कि अवशिष्ट जितना बड़ा होता है, उतने ही उच्च एक दूसरे से हो सकते हैं। यह आम तौर पर सच नहीं है, लेकिन अधिकांश व्यावहारिक मामलों में यह अंतर्ज्ञान बहुत अच्छी तरह से काम करता है।

चर ऑटो एनकोडर

अब हम एक संभावित शून्य अवशिष्ट के साथ एक बहुत अच्छी निचली श्रृंखलात्मक सीमा के एक उदाहरण का विश्लेषण करेंगे (नीचे यह स्पष्ट होगा कि क्यों) - यह एक वैरिएशन ऑटोकेनोडर है।

हमारा कार्य एक जेनेरिक मॉडल का निर्माण करना है और अधिकतम संभावना पद्धति का उपयोग करके इसे प्रशिक्षित करना है। मॉडल में निम्नलिखित रूप होंगे:

$$

$$q (x) = \ int {q (z) q_ \ theta (x | z) dz}$$

जहाँ $$$q (x)$ उत्पन्न नमूनों की संभावना घनत्व है, $$$z$ - अव्यक्त चर, $$$q (z)$ - एक अव्यक्त चर की प्रायिकता घनत्व (अक्सर एक सरल एक - उदाहरण के लिए, शून्य अपेक्षा और इकाई फैलाव के साथ एक बहुआयामी गाऊसी वितरण - सामान्य तौर पर, कुछ हम आसानी से नमूना कर सकते हैं), $$$q_ \ थीटा (x | z)$ - अव्यक्त चर के दिए गए मान के लिए सशर्त नमूना घनत्व, वैरिएबल ऑटोकेनोडर में, जी अपेक्षा के आधार पर मैट अपेक्षा और फैलाव के साथ एक गाऊसी का चयन किया जाता है।

हमें इतने जटिल तरीके से डेटा घनत्व का प्रतिनिधित्व करने की आवश्यकता क्यों हो सकती है? उत्तर सरल है - डेटा में एक बहुत ही जटिल घनत्व फ़ंक्शन है और हम सीधे तकनीकी रूप से इस तरह के घनत्व का एक मॉडल सीधे नहीं बना सकते हैं। हमें उम्मीद है कि इस जटिल घनत्व को दो सरल घनत्वों का उपयोग करके अच्छी तरह से अनुमानित किया जा सकता है। $$$q (z)$ और $$$q_ \ थीटा (x | z)$ ।

हम निम्नलिखित फ़ंक्शन को अधिकतम करना चाहते हैं:

$$

$$I = \ int {p (x) लॉग (q (x)) dx}$$

जहाँ $$$p (x)$ - डेटा संभावना घनत्व। मुख्य समस्या यह है कि घनत्व $$$q (x)$ (पर्याप्त रूप से लचीले मॉडल के साथ) यह विश्लेषणात्मक रूप से पेश करना संभव नहीं है, और तदनुसार मॉडल को प्रशिक्षित करना संभव नहीं है।

हम बेयस सूत्र का उपयोग करते हैं और हमारे कार्य को निम्नानुसार लिखते हैं:

$$

$$I = \ int {p (x) लॉग (\ frac {q (z) q (x | z)} q (q (z | x)}) dx}$$

दुर्भाग्य से, $$$q (z / x)$ सब कुछ गणना करना भी मुश्किल है (यह अभिन्न विश्लेषणात्मक लेने के लिए असंभव है)। लेकिन सबसे पहले, हम ध्यान दें कि लघुगणक के तहत अभिव्यक्ति z पर निर्भर नहीं होती है, इसलिए हम किसी भी वितरण के लिए लघुगणक से गणितीय अपेक्षा ले सकते हैं और यह फ़ंक्शन के मूल्य को नहीं बदलेगा और लघुगणक द्वारा समान वितरण में विभाजित और विभाजित करेगा (औपचारिक रूप से हमारे पास केवल एक शर्त है - यह वितरण कहीं भी गायब नहीं होना चाहिए)। नतीजतन, हम प्राप्त करते हैं:

$$

$$I = \ int {p (x) dx \ int {\ phi (z | x) लॉग (\ frac {q (z) q (x | z)} {\ phi (z | x)}}}} + \ int {p (x) dx \ int {\ phi (z | x) लॉग (\ frac {\ _i (z | x)} {q (z | x)}}}$$

ध्यान दें कि, सबसे पहले, दूसरा पद केएल विचलन है (जिसका अर्थ है कि यह हमेशा सकारात्मक है):

$$

$$I = \ int {p (x) dx \ int {\ phi (z | x) लॉग (\ frac {q (z) q (x | z)} {\ phi (z | x)}}}} + \ int {p (x) KL [\ phi (z | x) || q (z | x)]] dx$$

और दूसरी बात $$$मैं$ पर निर्भर नहीं करता है $$$q (z | x)$ से नहीं $$$\ phi (z | x)$ । यह इस प्रकार है कि,

$$

$$I> = \ int {p (x) dx \ int {\ phi (z | x) लॉग (\ frac {q (z) q (x | z)} {\ phi (z | x)}}}} = वीएलबी$$

जहाँ $$$Vlb$ - निचली परिवर्तनीय सीमा (वैरिएबल लोअर बाउंड) और इसकी अधिकतम सीमा तक पहुंच जाती है $$$KL [\ phi (z | x) || q (z (x))] = 0$ - अर्थात वितरण समान हैं।

सकारात्मकता और समानता शून्य के लिए यदि और केवल यदि वितरण केएल-डायवर्जेंस के संयोग होते हैं, तो वैचारिक विधियों द्वारा सटीक रूप से सिद्ध किया जाता है - इसलिए नाम वैचारिक सीमा।

मैं यह नोट करना चाहता हूं कि एक वैरिएबल लोअर बाउंड का उपयोग कई फायदे देता है। सबसे पहले, यह हमें ढाल विधियों द्वारा नुकसान फ़ंक्शन को अनुकूलित करने का अवसर देता है (यह तब करने की कोशिश करें जब अभिन्न विश्लेषणात्मक रूप से नहीं लिया गया है) और दूसरी बात, यह उलटा वितरण का अनुमान लगाता है $$$q (z | x)$ वितरण $$$\ phi (z | x)$ - अर्थात्, हम न केवल डेटा नमूना कर सकते हैं, बल्कि अव्यक्त चर भी नमूना कर सकते हैं। दुर्भाग्य से, मुख्य दोष यह है कि उलटा वितरण मॉडल लचीला नहीं है, अर्थात, जब परिवार $$$\ phi (z | x)$ शामिल नहीं है $$$q (z | x)$ - अवशिष्ट सकारात्मक और समान होगा:

$$

$$\ delta = \ int {p (x) \ underset {\ phi (z | x)} {min} (KL [\ phi (z | x)] || q (z | x)]) dx}$$

और इसका मतलब यह है कि कम सीमा और नुकसान कार्यों की अधिकतम संभावना संयोग नहीं है। वैसे, छवियों को उत्पन्न करने के लिए उपयोग किया जाने वाला परिवर्तनशील ऑटो एनकोडर उन छवियों को उत्पन्न करता है जो बहुत धुंधली होती हैं, मुझे लगता है कि यह सिर्फ एक बहुत गरीब परिवार को चुनने के कारण है $$$\ phi (z | x)$ ।

नॉट-सो-गुड बॉटम लाइन का एक उदाहरण

अब हम एक उदाहरण पर विचार करेंगे, जहां एक तरफ, निचली सीमा में सभी अच्छे गुण हैं (पर्याप्त रूप से लचीले मॉडल के साथ, अवशिष्ट शून्य होगा), लेकिन बदले में मूल नुकसान फ़ंक्शन का उपयोग करने पर कोई लाभ नहीं देता है। मेरा मानना ​​है कि यह उदाहरण बहुत ही चौकाने वाला है और यदि आप सैद्धांतिक विश्लेषण नहीं करते हैं, तो आप बहुत समय ऐसे मॉडलों को प्रशिक्षित करने में लगा सकते हैं जो कोई मतलब नहीं रखते हैं। बल्कि, मॉडल समझ में आता है, लेकिन अगर हम ऐसे मॉडल को प्रशिक्षित कर सकते हैं, तो यह चुनना आसान है $$$q (x)$ एक ही परिवार से और सीधे अधिकतम संभावना सिद्धांत का उपयोग करें।

इसलिए, हम वैसा ही जेनेरिक मॉडल पर विचार करेंगे जैसा कि एक वैरिएबल ऑटो एनकोडर के मामले में होता है:

$$

$$q (x) = \ int {q (z) q_ \ theta (x | z) dz}$$

हम एक ही अधिकतम संभावना पद्धति के साथ प्रशिक्षण लेंगे:

$$

$$I = \ int {p (x) लॉग (q (x)) dx}$$

हमें अब भी उम्मीद है कि $$$q (x | z)$ यह बहुत "आसान" होगा $$$q (x)$ ।
अब केवल हम लिखेंगे $$$मैं$ थोड़ा अलग:

$$

$$I = \ int {p (x) लॉग (\ int {q (z) q_ \ theta (x। Z) dz}) dx}$$

जेन्सेन सूत्र का उपयोग करके, हम प्राप्त करते हैं:

$$

$$I> = \ int {p (x) q (z) लॉग (q_ \ theta (x | z)) dxdz} = VLB$$

यह इस समय ठीक है कि ज्यादातर लोग बिना सोचे समझे जवाब देते हैं कि यह वास्तव में नीचे की रेखा है और आप मॉडल को प्रशिक्षित कर सकते हैं। यह सच है, लेकिन आइए इस विसंगति को देखें:

$$

$$\ डेल्टा = \ int {p (x) लॉग (q (x)) dx} - \ int {p (x) q (z) लॉग (q_ \ थीटा (x | z)) dxdz}$$

जहां (दो बार बेयस सूत्र को लागू करके):

$$

$$\ delta = \ int {p (x) q (z) लॉग (\ frac {q (x)} q (q (x | z)}) dxdz} = \ int {p (x) q (z) लॉग (?) \ frac {q (z)} {q (z | x)}) dxdz}$$

यह देखना आसान है कि:

$$

$$\ delta = \ int {p (x) KL [q (z) || q (z | x)] dx$$

आइए देखें कि क्या होता है अगर हम निचली सीमा बढ़ाते हैं - अवशिष्ट घट जाएगा। काफी लचीले मॉडल के साथ:

$$

$$KL [q (z) || q (z | x)] \ rightarrow0$$

सब कुछ ठीक लग रहा है - निचली सीमा में एक संभावित शून्य अवशिष्ट है और एक काफी लचीले मॉडल के साथ है $$$q (x | z)$ सब कुछ काम करना चाहिए। हां, यह सच है, केवल चौकस पाठक यह नोटिस कर सकते हैं कि शून्य अवशिष्ट कब प्राप्त किया जाता है $$$x$ और $$$z$ स्वतंत्र यादृच्छिक चर हैं !!! और अच्छे परिणाम के लिए, वितरण की "जटिलता" $$$q (x | z)$ से कम नहीं होना चाहिए $$$q (x)$ । यही है, निचली सीमा हमें कोई लाभ नहीं देती है।

निष्कर्ष

निचली परिवर्तनीय सीमा एक उत्कृष्ट गणितीय उपकरण है जो आपको सीखने के लिए "असुविधाजनक" कार्यों को लगभग अनुकूलित करने की अनुमति देता है। लेकिन किसी भी अन्य उपकरण की तरह, आपको इसके फायदे और नुकसान को अच्छी तरह से समझने की आवश्यकता है और इसे बहुत सावधानी से उपयोग करें। हमने एक बहुत अच्छा उदाहरण माना - एक परिवर्तनशील ऑटो-एनकोडर, साथ ही एक बहुत अच्छी निचली सीमा का उदाहरण नहीं है, जबकि इस निचली सीमा की समस्याओं को एक विस्तृत गणितीय विश्लेषण के बिना देखना मुश्किल है।

मुझे उम्मीद है कि यह कम से कम थोड़ा उपयोगी और दिलचस्प था।