ऑटो एनकोडर और मजबूत कृत्रिम बुद्धिमत्ता

ऑटो-एनकोडर और जेनरेटिंग मॉडल के सिद्धांत को हाल ही में गंभीरता से विकसित किया गया है, लेकिन काफी कुछ काम उन्हें पहचान की समस्याओं में उपयोग करने के लिए समर्पित हैं। इसी समय, एक छिपे हुए पैरामीट्रिक डेटा मॉडल को प्राप्त करने के लिए ऑटोकेनोडर्स की संपत्ति और इससे गणितीय परिणाम उन्हें बायेसियन निर्णय लेने के तरीकों के साथ जोड़ना संभव बनाते हैं।

लेख एक मूल गणितीय उपकरण "एक सामान्य अव्यक्त स्थान के साथ ऑटो-एनकोडर का एक सेट" प्रस्तावित करता है, जो आपको इनपुट डेटा से अमूर्त अवधारणाओं को निकालने की अनुमति देता है और "एक-शॉट सीखने" की क्षमता प्रदर्शित करता है। इसके अलावा, इसका उपयोग बहुपरत नेटवर्क और "डीप लर्निंग" दृष्टिकोण पर आधारित आधुनिक मशीन लर्निंग एल्गोरिदम की कई मूलभूत समस्याओं को दूर करने के लिए किया जा सकता है।

आवश्यक शर्तें

कृत्रिम तंत्रिका नेटवर्क, त्रुटियों के पीछे प्रसार के तंत्र का उपयोग करके प्रशिक्षित, मान्यता और पैरामीटर अनुमान की कई समस्याओं में अन्य दृष्टिकोणों को लगभग बदल दिया। लेकिन उनके पास कई कमियां हैं, जो ऐसा लगता है, दृष्टिकोण के एक गंभीर संशोधन के बिना समाप्त नहीं किया जा सकता है:

1. प्रशिक्षण नमूने में इनपुट डेटा को चरम अस्थिरता नहीं मिली (एडवांसरियल हमलों के मामले में)
   
   
2. समस्या के स्रोत का मूल्यांकन करना मुश्किल है और स्थानीय स्तर पर किसी एक स्तर पर पुनः प्रयास करें (आपको बस प्रशिक्षण के नमूने को पूरक करना होगा और फिर से देखना होगा), अर्थात। ब्लैक बॉक्स की समस्या
3. एक ही इनपुट जानकारी की विभिन्न व्याख्याओं की संभावना प्रदान नहीं की जाती है, देखे गए डेटा की सांख्यिकीय प्रकृति को अनदेखा किया जाता है
   
   

लागू समस्याओं को हल करने में लगे हुए हैं, और कई मौजूदा कार्यों पर भरोसा करते हुए, मैं एक दृष्टिकोण प्रस्तावित करता हूं जो मौजूदा लोगों से अलग है, उनकी कमियों को दूर करता है और मशीन सीखने के विभिन्न क्षेत्रों में लागू समस्याओं को हल करने के लिए लागू है।

वितरण घनत्व का अनुमान लगाने के लिए ऑटो एनकोडर

निर्णय लेने के सिद्धांत में, यादृच्छिक चर के वितरण घनत्व (या वितरण समारोह) द्वारा एक बहुत महत्वपूर्ण स्थान पर कब्जा कर लिया गया है। पश्चगामी जोखिम की गणना के लिए वितरण कार्यों का अनुमान लगाना आवश्यक है।

यह पता चला है कि वितरण कार्यों के मूल्यांकन के लिए ऑटो एनकोडर बहुत स्वाभाविक हैं। इसे निम्नानुसार समझाया जा सकता है: प्रशिक्षण डेटा सेट उनके वितरण के घनत्व से निर्धारित होता है। इनपुट स्थान में एक स्थानीय बिंदु के आसपास प्रशिक्षण के उदाहरणों का घनत्व जितना अधिक होगा, उतना ही बेहतर ऑटो-एनकोडर अंतरिक्ष में इस स्थान पर इनपुट वेक्टर का पुनर्निर्माण करता है। इसके अलावा, ऑटोकेनोडर के अंदर इनपुट डेटा (आमतौर पर कम आयाम) के अव्यक्त प्रतिनिधित्व का एक वेक्टर होता है, और यदि डेटा अव्यक्त स्थान में एक ऐसे क्षेत्र में प्रक्षेपित किया जाता है जो पहले प्रशिक्षण में उपयोग नहीं किया गया था, तो प्रशिक्षण नमूने में ऐसा कुछ भी नहीं था।

बंद और कुछ अलग-थलग कार्य हैं:

1. एलेन, जी। और बेंगियो, वाई। डेटा उत्पन्न करने वाले वितरण से नियमित रूप से स्वत: जानकारी प्राप्त करने वाले क्या सीखते हैं। 2013।
2. Kamyshanska, H. 2013. ऑटोकेनोडर स्कोरिंग पर
3. डैनियल जिओवॉन्ग इम, मोहम्मद इस्माईल बेल्हाज़ी, रोलैंड मेमेसेविक। 2016. अनटाइड ऑटो-एनकोडर का संरक्षण

पहला यह बताता है कि ऑटो-एनकोडर के डेनोइजिंग पुनर्निर्माण का परिणाम इनपुट डेटा की प्रायिकता घनत्व फ़ंक्शन से संबंधित है, लेकिन ऑटो-एनकोडर्स पर कई प्रतिबंध लगाए गए हैं। दूसरे में ऑटो एनकोडर के लिए पर्याप्त आवश्यकताएं हैं - एनकोडर और डिकोडर वेट "कनेक्टेड" होना चाहिए, अर्थात्। एनकोडर परत का वजन मैट्रिक्स डिकोडर का ट्रांसपोज्ड मैट्रिक्स है। आखिरी काम में, इस तथ्य के लिए आवश्यक और पर्याप्त स्थिति कि ऑटो एनकोडर एक संभावना घनत्व के साथ जुड़ा हुआ है, पूरी तरह से जांच की जाती है।

ये कार्य प्रशिक्षण डेटा के वितरण के घनत्व के साथ ऑटोएन्कोडर्स के संबंधों के लिए सैद्धांतिक आधार को सख्ती से प्रमाणित करते हैं। लागू समस्याओं में, इस तरह के एक गंभीर विश्लेषण की अक्सर आवश्यकता नहीं होती है, इसलिए, नीचे थोड़ा अलग दृष्टिकोण दिया जाएगा जो हमें पहले से प्रशिक्षित ऑटोपेंसर के कारण इनपुट डेटा की संभावना घनत्व फ़ंक्शन का अनुमान लगाने की अनुमति देगा।

MNIST उदाहरण

पहले के कार्यों में भी, अनुभवजन्य विचार प्रस्तावित किया गया था कि वर्गीकरण समस्या के लिए ऑटो-एनकोडर को कक्षाओं की संख्या से प्रशिक्षित करना संभव है (उनमें से प्रत्येक को केवल इसी उपसमुच्चय पर शिक्षण)। और एक उत्तर के रूप में चुनें कि वर्ग और ऑटो एनकोडर जो इनपुट छवि और पुनर्निर्मित के बीच न्यूनतम विसंगति देता है। एमएनआईएसटी पर जांच करना मुश्किल नहीं था: 10 ऑटो-एनकोडर (प्रत्येक अंक के लिए) को प्रशिक्षित करने के लिए, सटीकता की गणना करें, और फिर क्लासिफायर के समान मल्टीलेयर मॉडल के साथ तुलना करें।

Git (train_ae.py, calc_codes.py, calc_acc.py) पर प्रशिक्षण और परीक्षण के लिए लिपियाँ

वास्तुकला और वजन की संख्या:



ऑटो एनकोडर: 98.6%
बहुपरत पेसेप्ट्रॉन क्लासिफायर: 98.4%

एक चौकस पाठक यह नोटिस करेगा कि ऑटो एन्कोडर (उनकी संख्या से) में 10 गुना अधिक वजन था। हालांकि, एक बहुपरत परसेप्ट्रॉन में छिपी परत में वजन की संख्या में 10 गुना वृद्धि केवल आंकड़ों को खराब करती है।

बेशक, कन्वेंशन नेटवर्क बहुत अधिक सटीकता प्रदान करते हैं, लेकिन कार्य केवल दृष्टिकोण की तुलना करना था, अन्य सभी चीजें समान हैं।

नतीजतन, यह ध्यान दिया जा सकता है कि ऑटो-एनकोडर के साथ दृष्टिकोण पूरी तरह से जुड़े नेटवर्क के साथ काफी प्रतिस्पर्धी है। और यद्यपि वजन को अनुकूलित करने में अधिक समय लगता है, इसका एक महत्वपूर्ण लाभ है: इनपुट डेटा में विसंगतियों का पता लगाने की क्षमता। यदि ऑटो-एनकोडर में से कोई भी इनपुट छवि को सही ढंग से समेटने में सक्षम नहीं था, तो हम यह बता सकते हैं कि प्रशिक्षण नमूने में नहीं होने वाली एक विसंगत छवि इनपुट थी। कड़ाई से बोलते हुए, आप इनपुट नमूने से नहीं एक छवि को फिर से संगठित कर सकते हैं, लेकिन इस स्थिति में क्या करना है यह बाद में दिखाया जाएगा।

एकल ऑटो एनकोडर पर विचार करें

इनपुट डेटा पी (x) की संभावना घनत्व और ऑटोएन्कोडर की प्रतिक्रिया के बीच संबंध का गुणात्मक विश्लेषण करने के लिए उपरोक्त पत्रों की तुलना में थोड़ा अलग तरीके से संभव है।

ऑटो एनकोडर - एनकोडर फ़ंक्शन का अनुक्रमिक उपयोग $$$z = g (x)$ और डिकोडर $$$x ^ * = f (z)$ जहाँ $$$x$ इनपुट वेक्टर है, और $$$z$ - अव्यक्त प्रदर्शन। इनपुट के कुछ सबसेट में (आमतौर पर प्रशिक्षण के करीब) $$$x ^ * = x + n = f (g (x))$ जहाँ $$$एन$ - विसंगति। हम गॉसोव्स्की शोर द्वारा विसंगति को स्वीकार करते हैं (इसके मापदंडों का अनुमान ऑटोकेनडर के प्रशिक्षण के बाद लगाया जा सकता है)। परिणामस्वरूप, काफी मजबूत धारणाएं बनाई जाती हैं:

1) विसंगति - गाऊसी शोर
2) ऑटो एनकोडर पहले से ही "प्रशिक्षित" और काम कर रहा है

लेकिन, महत्वपूर्ण रूप से, ऑटो-एनकोडर पर लगभग कोई प्रतिबंध नहीं लगाया जाएगा।

इसके अलावा, संभाव्यता घनत्व p (x) का गुणात्मक अनुमान प्राप्त किया जा सकता है, जिसके आधार पर भविष्य में बहुत महत्वपूर्ण होने वाले कई निष्कर्ष बनाए जा सकते हैं।

P (x) एक एकल ऑटो एनकोडर के लिए स्कोर

के लिए वितरण घनत्व $$$X $ X $ मे$ और $$ इस प्रकार से संबंधित:

$$

$$p (x) = \ int_ {z} p (x | z) p (z) dz \?!?; (1)$$

हमें कनेक्शन p (x) और p (z) प्राप्त करने की आवश्यकता है। कुछ ऑटो एनकोडर के लिए, p (z) को उनके प्रशिक्षण के चरण पर सेट किया जाता है, दूसरों के लिए, p (z) छोटे आयाम Z के कारण प्राप्त करना अभी भी आसान है।

अवशिष्ट n का घनत्व वितरण ज्ञात है, जिसका अर्थ है:

$$

$$p (n) = const \ टाइम्स ऍक्स्प (- \ frac {(xf (z)) ^ T (xf (z))} {2 \ sigma ^ 2}) = p (x | z) \; ?;? 2)$$

$$$(x-f (z)) ^ T (x-f (z))$ X और उसके प्रक्षेपण x * के बीच की दूरी है। कुछ बिंदु z * पर यह दूरी अपने न्यूनतम पर पहुंच जाएगी। इस बिंदु पर, सूत्र के तर्क के आंशिक व्युत्पन्न को (2) के संबंध में $$$z_i$ (Z अक्ष) शून्य होगा:

$$

$$0 = \ frac {\ आंशिक f (z ^ *)} {\ आंशिक z_i} ^ T (xf (z ^ *)) + (xf (z ^ *)) ^ T \ frac {\ आंशिक f (z ^ * * )} {\ आंशिक z_i}$$

यहां $$$\ frac {\ आंशिक f (z ^ *)} {\ आंशिक z_i} ^ T (x-f (z ^ *))$ स्केलर तब:

$$

$$0 = \ frac {\ आंशिक f (z ^ *)} {\ आंशिक z_i} ^ T (x-f (z ^ *)) \;? \;? (3)$$

बिंदु z * की पसंद, जहां दूरी $$$(x-f (z)) ^ T (x-f (z))$ ऑटो एनकोडर की अनुकूलन प्रक्रिया के कारण न्यूनतम। प्रशिक्षण के दौरान, यह द्विघात अवशिष्ट है जिसे न्यूनतम (एक नियम के रूप में) किया जाता है: $$$\ min \ की सीमा _ {थीटा, एक्स ट्रेन में \ forall x \} L2_ {मानदंड} ({x-f_ \ theta (g_ \ theta (x))})$ जहाँ $$$$ थीटा$ - एनकोडर का वजन। यानी प्रशिक्षण के बाद g (x) z * को जाता है।

हम विस्तार भी कर सकते हैं $$$च (z)$ एक टेलर श्रृंखला में (पहले कार्यकाल तक) z * के आसपास:

$$

$$f (z) = f (z ^ *) + \ nabla f (z ^ *) (z-z ^ *) + o ((z-z ^ *))$$

तो, अब समीकरण (2) बन जाता है:

$$

$$p (x। z) \ लगभग const \ टाइम्स exp (- \ frac {(xf (z ^ *)) - \ nabla f (z ^ *) (zz ^ *)) ^ T ((xf (z ^) *)) - \ n नाला f (z ^ *) (zz ^ *))} {2 \ sigma ^ 2} =$$

$$

$$= const \ टाइम्स ऍक्स्प (- \ frac {(xf (z ^ *)) ^ T (xf (z ^ *))} {2 \ sigma ^ 2}) exp (- \ frac {(\ nabla f (z)) ^ *) (zz ^ *)) ^ T (\ nabla f (z ^ *) (zz ^ *))} {2 \ sigma ^ 2}) \ टाइम्स$$

$$

$$\ बार ऍक्स्प (- \ frac {(\ nabla f (z ^ *)) ^ T (xf (z ^ *)) + (xf (z ^ *)) ^ T \ nabla f (z ^ *)) (zz) ^ *)} {2 \ _ सिग्मा ^ 2})$$

ध्यान दें कि अंतिम कारक अभिव्यक्ति (3) के कारण 1 है। पहले कारक को (1) में इंटीग्रल (इसमें z नहीं होता है) के संकेत द्वारा हटाया जा सकता है। और यह भी मान लें कि p (z) एक पर्याप्त रूप से सुचारू कार्य है और z * के पड़ोस में बहुत कुछ नहीं बदलता है, अर्थात। p (z) -> p (z *) बदलें।

सभी मान्यताओं के बाद, अभिन्न (1) का अनुमान है:

$$

$$p (x) = const \ टाइम्स p (z ^ *) exp (- \ frac {(xf (z ^ *)) ^ T (xf (z ^ *))} {2 \ sigma ^ 2}) \ int_ {z} ऍक्स्प (- (zz ^ *) ^ TW (x) ^ TW (x) (zz ^ *)) dz, \! \; \; z ^ * = g (x)$$

जहाँ $$$W (x) = \ frac {\ n नाला f (z ^ *)} {\ sigma}, z ^ * = g (x)$
अंतिम अभिन्न एन-आयामी यूलर-पॉइसन अभिन्न है:

$$

$$\ int_ {z} exp (- \ frac {(zz ^ *) ^ TW (x) ^ TW (x) (zz ^ *)} {2}) dz = \ sqrt {\ frac {1} {det () W (x) ^ TW (x) / 2 \ pi)}}$$

परिणामस्वरूप, हमें अंतिम अनुमान p (x) मिला:

$$

$$p (x) = const \ टाइम्स ऍक्स्प (- \ frac {(xf (z ^ * *)) ^ T (xf (z ^ *))} {2 \ sigma ^ 2}) p (z ^ *) \ sqrt {[frac {1} {det (W (x) ^ TW (x) / 2 \ pi)}}, z ^ * = g (x) \;?;?; (4)$$

यह दिखाने के लिए कि सभी गणित की आवश्यकता थी p (x) तीन कारकों पर निर्भर करता है:

• इनपुट वेक्टर और इसके पुनर्निर्माण के बीच की दूरी, यह जितना खराब होता है, उतना ही छोटा होता है (x)
• संभाव्यता घनत्व p (z *) z * = g (x) पर
• बिंदु z * पर फ़ंक्शन p (z) का सामान्यीकरण, जो फ़ंक्शन के आंशिक व्युत्पन्न से ऑटोकेनोडर के लिए गणना की जाती है

और सामान्यीकरण स्थिरांक से, जो बाद में इनपुट डेटा का वर्णन करने के लिए एक ऑटो एनकोडर चुनने की प्राथमिकता की संभावना के लिए जिम्मेदार होगा।

सभी मान्यताओं के बावजूद, गणना के दृष्टिकोण से परिणाम बहुत सार्थक और उपयोगी था।

पैरामीटर वर्गीकरण या रेटिंग प्रक्रिया

अब आप ऑटो-एनकोडर के सेट का उपयोग करके वर्गीकरण प्रक्रिया का अधिक सटीक वर्णन कर सकते हैं:

1. संबंधित आउटपुट पर प्रत्येक वर्ग के लिए स्वतंत्र ऑटो एनकोडर का प्रशिक्षण
2. प्रत्येक ऑटोकेनोडर के लिए मैट्रिक्स डब्ल्यू की गणना
3. प्रत्येक ऑटो एनकोडर के लिए P (z) स्कोर

और प्रत्येक इनपुट वेक्टर के लिए आप अभी मूल्यांकन कर सकते हैं $$$p (x | वर्ग)$ कक्षाओं की संख्या से। और यह संभावना समारोह होगा जो निर्णय लेने के लिए बायेसियन शासन के ढांचे के भीतर निर्णय लेने के लिए आवश्यक है।

इसी तरह, प्रत्येक मान के लिए अपने स्वयं के ऑटो एनकोडर को प्रशिक्षित करके, अनजान मापदंडों को असतत मूल्यों में पैरामीटर स्थान को तोड़कर भी अनुमान लगाया जा सकता है। और फिर, सर्वश्रेष्ठ बेसेसियन स्कोर के आधार पर, उस मूल्य को चुनें जो अधिकतम संभावना फ़ंक्शन देता है।

यहाँ यह ध्यान देने योग्य है कि, औपचारिक रूप से, p (z) का अनुमान लगाने की समस्या p (x) का अनुमान लगाने की तुलना में सरल नहीं है। लेकिन व्यवहार में ऐसा नहीं है। स्पेस जेड में आमतौर पर बहुत छोटे आयाम होते हैं, या ऑटो-एनकोडर के भार का अनुकूलन करते समय वितरण आम तौर पर सेट होता है।

ऑटो-एनकोडर के अव्यक्त स्थान के संयोजन का विचार

अलेक्सी रेडोज़ुबोव द्वारा प्रस्तावित एक जिज्ञासु व्याख्या है और निम्नलिखित लेखों में वर्णित है:

1. एक आर्टिफिशियल न्यूरल नेटवर्क आर्किटेक्चर, जो कॉर्टिकल मिनिकोलुमन्स में कॉन्टेक्स्ट ट्रांसफॉर्मेशन पर आधारित है। वसीली मोरज़कोव, एलेक्सी रेडोज़ुबोव
2. होलोग्राफिक मेमोरी: न्यूरल माइक्रोकिरिचेट्स द्वारा सूचना प्रसंस्करण का एक उपन्यास मॉडल। एलेक्सी रेडोज़ुबोव, स्प्रिंगर
3. तंत्रिका नेटवर्क बिल्कुल नहीं। मोरझकोव वी।

विभिन्न संदर्भों में सूचना की पूरी तरह से अलग व्याख्या हो सकती है। एक "ऑटो एनकोडर का सेट" का मॉडल इस प्रस्तावित विचार को प्रतिध्वनित करता है। कोई भी ऑटो एनकोडर एक ही संदर्भ (एक वर्ग या अन्य निश्चित मापदंडों) के भीतर इनपुट डेटा का एक अव्यक्त मॉडल है, अर्थात। अव्यक्त वेक्टर एक व्याख्या है, और प्रत्येक ऑटो-एनकोडर एक संदर्भ है। इनपुट जानकारी प्राप्त होने पर, इसे प्रत्येक संदर्भ में (प्रत्येक ऑटो-एनकोडर द्वारा) माना जाता है, और वह संदर्भ चुना जाता है जो प्रत्येक ऑटो-एनकोडर में मौजूदा मॉडल को ध्यान में रखता है।

अगला उचित कदम विभिन्न संदर्भों में व्याख्याओं के प्रतिच्छेदन के लिए अनुमति देना है। यानी प्रशिक्षण के दौरान, हम अक्सर जानते हैं कि व्याख्या समान है, लेकिन प्रस्तुति (संदर्भ) का रूप बदल जाता है। उदाहरण के लिए, किसी ऑब्जेक्ट का ओरिएंटेशन बदलता है, लेकिन ऑब्जेक्ट वैसा ही रहता है। ऑब्जेक्ट के विवरण के वेक्टर को संरक्षित किया जाना चाहिए, और संदर्भ - अभिविन्यास बदलता है।

फिर, यदि हम सूत्र (4) पर एक नज़र डालते हैं, तो कारक p (z) ऑटो-एनकोडर के पूरे सेट के लिए अनुमानित होता है, और प्रत्येक के लिए अलग-अलग नहीं। व्याख्या (अव्यक्त वेक्टर) का एक सामान्य वितरण होगा। ऑटो-एनकोडर की एक छोटी संख्या के लिए, इसकी महत्वपूर्ण भूमिका नहीं हो सकती है, लेकिन एक वास्तविक कार्य में यह संख्या बहुत बड़ी हो सकती है। उदाहरण के लिए, यदि आप 3 डी ऑब्जेक्ट के प्रत्येक संभावित अभिविन्यास के लिए एक संदर्भ को परिभाषित करते हैं, तो उनमें से सैकड़ों हजारों हो सकते हैं। अब, किसी भी संदर्भ में प्रशिक्षण के लिए प्रस्तुत प्रत्येक उदाहरण एक वितरण पी (जेड) बनाएगा।

व्याख्या और संदर्भ की विनिमेयता

लागू समस्या में, सवाल तुरंत उठता है: व्याख्या द्वारा क्या निर्दिष्ट किया जाए, और संदर्भ से क्या? संदर्भ और व्याख्या को आसानी से परस्पर जोड़ा जा सकता है, और कोई भी "ऑटोकेनोडर्स के सेट" की जोड़ी के साथ-साथ समानांतर कामकाज की संभावना को बाहर नहीं करता है।

स्पष्टता के लिए, आप इस उदाहरण की पेशकश कर सकते हैं:

इनपुट छवि में लोगों के चेहरे शामिल हैं।

1. संदर्भ - चेहरा अभिविन्यास। फिर, इनपुट छवि के पुनर्निर्माण के लिए, हमारे पास पर्याप्त "व्याख्या" नहीं है - एक कोड जो किसी व्यक्ति की पहचान करता है, जिसमें चेहरे, केश विन्यास, इसकी रोशनी का विवरण होगा। प्रशिक्षण के दौरान, हमें विभिन्न पक्षों से एक ही चेहरे को प्रस्तुत करने की आवश्यकता होगी, अभिविन्यास को बदलते हुए, अव्यक्त कोड "फ्रीजिंग"।
2. संदर्भ - चेहरा, प्रकाश, केश का प्रकार। फिर, इनपुट छवि के पुनर्निर्माण के लिए, हमारे पास चेहरे के उन्मुखीकरण की कमी है। प्रशिक्षण के दौरान, विभिन्न प्रकाश व्यवस्था की स्थितियों में अलग-अलग चेहरे दिखाना आवश्यक होगा, लेकिन एक ही अभिविन्यास के साथ।

पहले मामले में इष्टतम बायेसियन निर्णय चेहरे के उन्मुखीकरण के बारे में किया जाएगा, और दूसरे में - इसका प्रकार। संभवतः, पहला विकल्प अभिविन्यास में बेहतर सटीकता देगा, और दूसरा अधिक सटीक रूप से मूल्यांकन करेगा कि यह किसका चेहरा था।

साझा अव्यक्त स्थान के साथ ऑटो-एनकोडर का एक सेट सीखना

प्रशिक्षण में, हमें यह जानना होगा कि विभिन्न संदर्भों में अर्थ के संदर्भ में एक इकाई कैसे दिखती है। उदाहरण के लिए, यदि हम संख्या और संदर्भ-उन्मुखता की छवि के बारे में बात करते हैं, तो योजनाबद्ध रूप से इस तरह का क्रॉस-ट्रेनिंग दिखता है:



एक ऑटो-एनकोडर के एनकोडर का उपयोग किया जाता है, फिर दूसरे ऑटो-एनकोडर के डिकोडर द्वारा अव्यक्त कोड को डिकोड किया जाता है। लर्निंग लॉस फ़ंक्शन मानक रहता है। यह दिलचस्प है कि अगर ऑटो-एनकोडर को सममित (यानी, एनकोडर और डिकोडर का वजन जुड़ा हुआ है) चुना जाता है, तो प्रत्येक पुनरावृत्ति में दोनों ऑटो-एनकोडर के सभी वजन अनुकूलित होते हैं।

इस तरह के पेचीदा प्रशिक्षण के लिए सबसे सुविधाजनक था PyTorch, जो आपको गतिशील लोगों सहित त्रुटियों के पीछे प्रसार के लिए काफी जटिल योजनाएं बनाने की अनुमति देता है।

क्रॉस-ट्रेनिंग के पुनरावृत्ति के साथ वैकल्पिक रूप से प्रत्येक ऑटो एनकोडर के मानक सीखने के चरण। नतीजतन, सभी ऑटो-एनकोडर में अलग-अलग संदर्भों में एक सामान्य अव्यक्त स्थान या "व्याख्या" होती है।

यह बहुत महत्वपूर्ण है कि इस तरह के विश्लेषण के परिणामस्वरूप हम इनपुट जानकारी को "संदर्भ" और "व्याख्या" में विभाजित करने में सक्षम होंगे।

प्रशिक्षण उदाहरण

एमएनआईएसटी पर आधारित एक काफी सरल उदाहरण पर विचार करें, जो एक सामान्य अव्यक्त स्थान के साथ ऑटोकेनोडर्स के प्रशिक्षण के सिद्धांत को प्रदर्शित करने में मदद करेगा। नतीजतन, यह उदाहरण लेख में वर्णित तंत्र का उपयोग करके "क्यूब" की अमूर्त अवधारणा के गठन को प्रदर्शित करेगा।

MNIST के नंबर घन के किनारे पर स्थित हैं और यह अपनी एक कुल्हाड़ी के चारों ओर घूमता है:



हम चेहरे, संदर्भ - फेस ओरिएंटेशन को पुनर्स्थापित करने के लिए ऑटोएन्कोडर्स को प्रशिक्षित करेंगे।

यहां 100 संदर्भों में संख्या "शून्य" का एक उदाहरण दिया गया है, जिनमें से पहले 34 पक्ष के चेहरे के रोटेशन के विभिन्न कोणों के अनुरूप हैं, और शेष 76 - ऊपरी पक्ष के रोटेशन के विभिन्न कोण हैं।



हम मानते हैं कि इन 100 छवियों में से प्रत्येक के लिए "व्याख्याएं" समान होनी चाहिए, और यह उनके यादृच्छिक संयोजन हैं जो क्रॉस-ट्रेनिंग के लिए उपयोग किए जाते हैं।

उपर्युक्त विधि के साथ प्रशिक्षण के बाद, यह प्राप्त करना संभव था कि किसी ऑटोकारोडर्स के अव्यक्त कोड को अन्य ऑटोएन्कोडर्स द्वारा डिकोड किया जा सकता है, जो वास्तव में सार्थक प्रासंगिक रूपांतरण प्राप्त कर रहा है।

उदाहरण के लिए, यह छवि दर्शाती है कि 10 अंको पर ऑटो एनकोडर का एन्कोडिंग परिणाम किसी एक अंक के लिए अन्य ऑटो एनकोडर्स द्वारा डिकोड किया जाता है:



इस प्रकार, "व्याख्या" का कोड, अर्थात्। ऑटो एनकोडर के अव्यक्त वेक्टर, आप किसी भी प्रशिक्षित संदर्भ (यानी, किसी भी ऑटो एनकोडर के डिकोडर) में मूल छवि को पुनर्स्थापित कर सकते हैं।

इनपुट वेक्टर मास्किंग

सूत्र (4) में, अवशिष्ट का फैलाव $$$\ _ सिग्मा$ , जो इनपुट वेक्टर के किसी भी घटक के लिए एक स्थिरांक द्वारा चुना जाता है। हालांकि, अगर कुछ घटकों का अव्यक्त मॉडल के साथ कोई सांख्यिकीय संबंध नहीं है, तो इन घटकों के लिए विचरण काफी अधिक होगा। हर जगह हर जगह फैलाव है, जिसका अर्थ है कि विसंगति जितनी बड़ी होगी, घटक त्रुटि का योगदान उतना ही कम होगा। आप इसे इनपुट वेक्टर के कुछ हिस्से के मास्किंग के रूप में संबंधित कर सकते हैं।

घूर्णन चेहरे के साथ इस उदाहरण के लिए, मुखौटा स्पष्ट है - एक विशिष्ट संदर्भ में चेहरे का प्रक्षेपण।



इस उदाहरण में सरलीकृत दृष्टिकोण में, जो इनपुट छवि और पुनर्निर्माण के बीच केवल अवशिष्ट का उपयोग करता है, आपको केवल प्रत्येक संदर्भ के लिए मुखौटा द्वारा अवशिष्ट को गुणा करना होगा।

सामान्य मामले में, वितरण मापदंडों का अधिक सख्ती से मूल्यांकन करना आवश्यक है, इस प्रकार मैन्युअल रूप से मुखौटा में प्रवेश किए बिना।

संदर्भ से अलग व्याख्या

संदर्भ से व्याख्या को अलग करते हुए, आप अमूर्त अवधारणाएं प्राप्त कर सकते हैं। प्रशिक्षित उदाहरण में, 2 प्रभावों को प्रदर्शित करना दिलचस्प है:

1) एक-शॉट सीखना, अर्थात् बहुत कम उदाहरणों के साथ प्रशिक्षण (एक की सीमा में)।

यदि हम केवल व्याख्या की व्याख्या करते हैं, संदर्भ को अनदेखा करते हैं, तो अलग-अलग चेहरे के झुकाव में एक नई छवि को पहचानना संभव हो जाता है, जब एक नई छवि को केवल एक झुकाव में दिखाया गया था।

यह ध्यान रखना महत्वपूर्ण है कि एक नई छवि प्रस्तुत की जानी चाहिए। शुद्धता के लिए, हमने खुद को एक छवि को याद रखने का लक्ष्य भी निर्धारित किया है, लेकिन यह सीखने के लिए कि 2 नई छवियों को कैसे साझा किया जाए जो पहले MNIST प्रशिक्षण आधार में नहीं मिली थीं। उदाहरण के लिए, जैसे:



विचार इस प्रकार है: ज्यामितीय संदर्भों में से एक में इन संकेतों को दिखाएं (उदाहरण के लिए, संख्या 10 के तहत), एक हाइपरप्लेन का चयन करें जो इन चिह्नों की व्याख्याओं से समरूपता चलाता है, और फिर सुनिश्चित करें कि इस हाइपरप्लेन के साथ हम पहचान सकते हैं कि चेहरा घुमाए जाने पर किस तरह का संकेत हमें प्रस्तुत किया गया है। (अन्य संदर्भ)।

यहां यह ध्यान रखना महत्वपूर्ण है कि ऑटो एनकोडर को नए संकेतों पर प्रशिक्षित नहीं किया जाएगा। विभिन्न प्रकार की संख्या जो MNIST में हैं, आप यह अनुमान लगा सकते हैं कि एक नया चरित्र जो पहले नहीं देखा गया है, विभिन्न संदर्भों में दिखेगा।

तो वी साइन नंबर 10 के संदर्भ में एन्कोडिंग और शेष लोगों में डिकोडिंग के बाद दिखेगा:



यह देखा जा सकता है कि भविष्यवाणी सही नहीं है, लेकिन नेत्रहीन पहचानने योग्य है।

हम इस प्रदर्शन को "प्रयोग 1" कहते हैं और नीचे दिए गए परिणाम का वर्णन करते हैं।

2) और क्यूब के साथ यह प्रदर्शित करना दिलचस्प है कि क्या होगा यदि आप अव्यक्त वेक्टर की सामग्री को अनदेखा करते हैं, और केवल प्रत्येक ऑटो एनकोडर की बहुलता की डिग्री से अवगत कराया जाता है।

चलो देखते हैं कि 100 संदर्भों के लिए पूरी तरह से अलग बनावट (संख्या 5 और 9) के साथ दो क्यूब्स के लिए संदर्भों में से प्रत्येक के लिए संभावना क्या दिखती है जो कि नक्शे के रूप में प्रदर्शित की जा सकती है:



यह देखा जा सकता है कि क्यूब के किनारों पर अलग बनावट के बावजूद नक्शे काफी समान हैं।

यानीवेक्टर स्वयं, जिसमें ऑटोएन्कोडर मॉडल (संदर्भ) की संभावना होती है, हमें घन के 3-आयामी आकार से संबंधित एक नई अमूर्त अवधारणा तैयार करने की अनुमति देता है। इस वेक्टर को एक ऑटो-एनकोडर द्वारा अगले स्तर पर भी वर्णित किया जा सकता है जो क्यूब मॉडल सीखता है।

दूसरे प्रयोग में, एक सार क्यूब मॉडल के ऑटो-एनकोडर को प्रशिक्षित करने के लिए दूसरे स्तर के सूचना प्रसंस्करण को बनाना आवश्यक होगा। और फिर, इस घन के मॉडल के विभिन्न कार्यान्वयन के लिए मूल छवि को पुनर्स्थापित करने के लिए रियर प्रोजेक्शन का उपयोग करना। सीधे शब्दों में कहें, क्यूब स्पिन बनाएं।

"प्रयोग संख्या 1" का परिणाम

ऑटो-एनकोडर का एमएनआईएसटी-प्रशिक्षित सेट संदर्भ # 10 में प्रस्तुत दो नई छवियों पर लागू होता है। यह वी और + के संकेतों के अनुरूप अव्यक्त स्थान में 2 अंक निकलता है। हम दोनों बिंदुओं से समतल समतल को परिभाषित करते हैं, जिसका उपयोग हम निर्णय लेने के लिए करेंगे। यदि बिंदु विमान के एक तरफ है - वी संकेत, दूसरे पर - प्लस चिन्ह।

अब हमें परिवर्तित छवियों के कोड मिलते हैं और उनमें से प्रत्येक के लिए हम साइन को संरक्षित करते हुए, विमान की दूरी की गणना करते हैं।

नतीजतन, यह भेद करना संभव है कि सभी 100 संदर्भों के लिए किस तरह का संकेत प्रस्तुत किया गया था।

ग्राफ पर दूरी वितरण:



उदाहरण के रूप में व्यक्तिगत प्रतीकों का उपयोग करके परिणाम का दृश्य:



यानीपूरी तरह से अलग संदर्भों में वी संकेतों के अव्यक्त कोड एक ही संदर्भ में वी और प्लस साइन कोड की तुलना में अव्यक्त स्थान में एक दूसरे के बहुत करीब हैं। इसके कारण, 100 में से 100 मामलों में, क्यूब के चेहरे के विभिन्न झुकावों में संकेतों को सफलतापूर्वक भेद करना संभव है, इस तथ्य के बावजूद कि प्रत्येक संकेत का केवल एक नमूना प्रस्तुत किया गया था।

क्लासिक "वन-शॉट लर्निंग" को प्रदर्शित करना संभव था, जो कृत्रिम तंत्रिका नेटवर्क की मूल वास्तुकला में असंभव है। मूल सिद्धांत जिसके द्वारा यह दृष्टिकोण काम करता है, उदाहरण के लिए, इस आलेख में "ट्रांसफर लर्निंग" के समान है ।

Git (train_ae_saring.py, test_AB.py) से लिंक करें

"प्रयोग संख्या 2" का परिणाम

संदर्भ से अलग व्याख्या भी उदाहरणों के एक सीमित सेट से सीखने की अनुमति देती है। विभिन्न संदर्भों में संभव व्याख्याओं में से केवल एक को प्रदर्शित करना संभव है (एक "अव्यक्त वेक्टर" को ठीक करना)। एक सार क्यूब मॉडल केवल सभी चेहरों पर केवल एक अंक दिखा कर प्राप्त किया जा सकता है।

प्रयोग निम्नानुसार संरचित है:

1. एक प्रशिक्षण आधार तैयार किया जा रहा है: 0 से 90 डिग्री तक रोटेशन की डिग्री के साथ क्यूब्स। क्यूब्स के चेहरे पर नंबर 5 है।
2. व्याख्या की प्रसंग वेक्टर, व्याख्या (अव्यक्त कोड) से अलग हो जाती है, अगले स्तर तक पहुंच जाती है, जहां क्यूब मॉडल के लिए जिम्मेदार ऑटो-एनकोडर प्रशिक्षित होता है
3. : , «», , , , , .

प्रशिक्षण के नमूने में पक्षों पर संख्या 5 की छवि के साथ 5421 छवियां शामिल थीं, उदाहरण:


0 से 90 डिग्री तक रोटेशन वाले क्यूब्स

हम पहले से जानते हैं कि क्यूब को रोटेशन की केवल एक डिग्री है, इसलिए दूसरे स्तर पर ऑटो-एनकोडर में अव्यक्त कोड में केवल एक घटक होता है। प्रशिक्षण के बाद, आप इस घटक को 0 से 1 तक अलग-अलग कर सकते हैं (अव्यक्त परत को सक्रिय करने के लिए सिग्मॉइड फ़ंक्शन का चयन किया गया था) और देखें कि डिकोडिंग के दौरान किस संदर्भ संभावना वेक्टर को पुन: पेश किया जाता है:



फिर इस वेक्टर को स्तर 1 पर स्थानांतरित किया जाता है, जिसमें 100 चेहरे, स्थानीय मैक्सिमा और « "क्यूब के चेहरों पर संकेत के किसी भी अव्यक्त कोड की कल्पना की। "कल्पना करें" चेहरों पर नंबर 3, एक क्यूब के अमूर्त अवधारणा के लिए जिम्मेदार ऑटो-एनकोडर में अव्यक्त वेक्टर को बदलते हुए, और एक क्यूब की निम्नलिखित छवि प्राप्त करें:



या वी संकेत का कोड, जो प्रशिक्षण सेट में बिल्कुल भी सामना नहीं किया गया था:



गुणवत्ता बदतर है, लेकिन संकेत पहचानने योग्य है।

इस प्रकार, छवि प्रसंस्करण के दूसरे स्तर पर, हमें एक ऑटो एनकोडर मिला जो "क्यूब" की अमूर्त अवधारणा की विविधता को दर्शाता है। व्यवहार में, मान्यता समस्याओं में, प्रयोग में दिखाए गए बैक प्रोजेक्शन का सिद्धांत अत्यंत महत्वपूर्ण है, क्योंकि उच्च स्तर की अमूर्त अवधारणाओं के गठन के कारण व्याख्या की अस्पष्टता को खत्म करने की अनुमति देता है।

Git से लिंक करें (second_level.py, second_level_test.py)

अन्य उदाहरण जहां संदर्भ पृथक्करण काम करता है

मेरे पिछले लेख में, कार नंबरों को पहचानते समय, बिना स्पष्टीकरण के एक समान विधि का उपयोग किया गया था। छवि में संख्याओं की स्थिति, अभिविन्यास और पैमाने को सामग्री से अलग कर दिया गया था, अगले स्तर को "कार नंबर" मॉडल बनाने के लिए इन आंकड़ों को माना जाता है। कोई फर्क नहीं पड़ता कि संख्या क्या है, उनका आपसी ज्यामितीय विन्यास महत्वपूर्ण है, ताकि हम आत्मविश्वास से कह सकें कि यह एक कार संख्या है (वैसे, एक अमूर्त अवधारणा भी)।

सादृश्य से, हम कंप्यूटर दृष्टि से कई अन्य उदाहरण दे सकते हैं: किसी वस्तु का 3 डी आकार या उसकी आकृति इसकी बनावट और पृष्ठभूमि से अलग होती है; आपसी स्थानिक विन्यास से अलगाव में घटकों की गणना भी अक्सर एक नई अमूर्त अवधारणा के गठन की अनुमति देती है।

, : — ( ) ( ); ( , ,«- -»).

फिलहाल, यह तैयार करना मुश्किल है कि कमजोर से मजबूत AI कैसे अलग है। संभवतः, इस सूची में वह सब कुछ शामिल होना चाहिए जो मौजूदा दृष्टिकोणों और एल्गोरिदम में कमी है ताकि कंप्यूटर एक व्यक्ति के रूप में कुशलतापूर्वक कार्य कर सके, उदाहरण के लिए:

• निर्णय लेना, रणनीतियों का उपयोग करना, अनिश्चितता का सामना करना। यह उच्च अनिश्चितता है कि प्रशिक्षण के दौरान तैयार किए गए सर्वोत्तम मॉडलों को चुनने की आवश्यकता होती है
• आसपास की भौतिक और सामाजिक दुनिया के मॉडल का प्रतिबिंब, जिसमें आत्म-जागरूकता और दूसरों की चेतना शामिल है
• अमूर्त सोच के तंत्र, अवधारणाओं को तैयार करने की अनुमति देते हैं जो बाद में इनपुट डेटा की एक विस्तृत विविधता पर उपयोग किए जा सकते हैं
• अपने स्वयं के विचारों को "समझने" की क्षमता

इसके अलावा, सीखने की प्रक्रिया, पदोन्नति / सजा तंत्र के साथ स्पष्ट रूप से पर्याप्त विकसित मेमोरी तंत्र नहीं हैं।

लेख मापदंडों की मान्यता और आकलन की समस्या के दृष्टिकोण का प्रदर्शन करता है, जो कि इनपुट डेटा का वर्णन करने वाले सर्वश्रेष्ठ मॉडल के चयन पर आधारित है। यह माना जाता है कि यह सबसे अच्छी व्याख्या और संदर्भ चुनने का तंत्र है। मॉड्यूल के आउटपुट (ऑटो-एनकोडर का एक सेट) में व्याख्या और संदर्भ को अलग करने के कारण, एक सार अवधारणाओं को बना सकता है या संदर्भ से अलगाव में अनुभव को सामान्य कर सकता है, जिससे प्रशिक्षण नमूना कम हो सकता है। संदर्भों के समूह मशीन सेंसर (अभिविन्यास, स्थिति, गति, आदि) के रीडिंग को प्रतिबिंबित कर सकते हैं, जिसके कारण शिक्षक के बिना प्राकृतिक शिक्षा संभव नहीं है।

इसके अलावा, हालांकि डीप लर्निंग का उपयोग ऑटोएन्कोडर्स के प्रशिक्षण में किया जाता है, क्योंकि ऑटोएन्कोडर्स में होने वाली प्रक्रियाओं का आसानी से सूचना प्रसंस्करण के प्रत्येक स्तर पर विश्लेषण किया जाता है, क्योंकि यह निर्धारित करना संभव है कि किस मॉडल (या किस संदर्भ में) को सबसे अच्छी व्याख्या मिली थी। और जटिल प्रणालियों में पेश किए जाने वाले स्तरों के बीच फीडबैक का अर्थ किसी विशेष संदर्भ को चुनने की संभावना को बढ़ाना या घटाना है।

परिणाम

एक गणितीय उपकरण प्रस्तावित है, जिसके आधार पर कोई एक या एक अन्य मॉडल चुन सकता है जो कि बेयर्स निर्णय नियम द्वारा निर्देशित इनपुट डेटा का वर्णन करता है। मॉडल एक सामान्य अव्यक्त स्थान के साथ ऑटोएन्कोडर्स का उपयोग करके प्राप्त किए जाते हैं। एक विचार प्रस्तावित है जिसके अनुसार ऑटो-एनकोडर का अव्यक्त कोड एक व्याख्या है, और अव्यक्त मॉडल, अर्थात्। ऑटो एनकोडर ही संदर्भ है।

यह प्रदर्शित किया जाता है कि ऑटो-एनकोडर का सेट एमएनआईएसटी के उदाहरण का उपयोग करके पूरी तरह से जुड़े कृत्रिम तंत्रिका नेटवर्क की सटीकता में नीच नहीं है।

व्याख्या से संदर्भ को अलग करने का प्रभाव दिखाया गया है: अन्य डेटा पर पूर्व-प्रशिक्षण के कारण नए प्रस्तुत किए गए चित्रों की मान्यता के लिए आवश्यक डेटा सेट ("एक-शॉट सीखने" की सीमा में) को कम करना।

व्याख्या से संदर्भ को अलग करने का प्रभाव दिखाया गया है: उदाहरण के रूप में ज्यामितीय अमूर्त "क्यूब" का उपयोग करके अगले स्तर की अमूर्त अवधारणाओं को बनाने की संभावना।

संदर्भ

1) एलेन, जी। और बेंगियो, वाई। डेटा उत्पन्न करने वाले वितरण से नियमित रूप से स्वत: सहकर्मी क्या सीखते हैं। 2013।
2) कमिंशका, एच। 2013. ऑटोकेनोडर स्कोरिंग पर
3) डैनियल जिओवॉन्ग इम, मोहम्मद इस्माइल बेलगाज़ी, रोलैंड मेमेसेविक। 2016. अनटाइड ऑटो-एनकोडर का संरक्षण
4) एक आर्टिफिशियल न्यूरल नेटवर्क आर्किटेक्चर कॉर्टिकल ट्रांसफॉर्मेशन पर आधारित है। वसीली मोरज़कोव, एलेक्सी रेडोज़ुबोव
5) होलोग्राफिक मेमोरी: तंत्रिका माइक्रोकिरिचेट्स द्वारा सूचना प्रसंस्करण का एक उपन्यास मॉडल। एलेक्सी रेडोज़ुबोव, स्प्रिंगर
6) तंत्रिका नेटवर्क बिल्कुल नहीं। मोरझकोव वी।
7) en.wikipedia.org/wiki/Gaussian_integral
8) एडवरसैरियल उदाहरण: डीप लर्निंग के लिए हमले और बचाव
9) वन-शॉट इमिटेशन लर्निंग

पुनश्च: यह लेख एक रूसी-भाषा इलेक्ट्रॉनिक छाप है, जो परिणामों पर चर्चा करने, त्रुटियों की खोज करने के लिए प्रकाशित हुई है। किसी भी रचनात्मक आलोचना का स्वागत है!