मेटा-क्लस्टरिंग त्रुटि कम करने के साथ, और मुझे लगता है कि मस्तिष्क इस तरह से काम करता है

सभी को नमस्कार! मैं आपके साथ मशीन लर्निंग के अपने विचार को साझा करना चाहता हूं।

मशीन सीखने में महान प्रगति प्रभावशाली हैं। संवेदी नेटवर्क और LSTM शांत हैं। लेकिन लगभग सभी आधुनिक प्रौद्योगिकियां त्रुटि के पीछे प्रसार पर आधारित हैं। इस पद्धति के आधार पर, यह एक थिंकिंग मशीन बनाने में सक्षम होने की संभावना नहीं है। तंत्रिका नेटवर्क एक जमे हुए मस्तिष्क की तरह कुछ से बना है, एक बार और सभी के लिए प्रशिक्षित, सोच बदलने में असमर्थ।

मैंने सोचा, क्यों न एक जीवित मस्तिष्क जैसा कुछ बनाने की कोशिश की जाए। एक प्रकार का पुनरुद्धार। चूंकि सभी जानवरों में, बुद्धि में अंतर के बावजूद, मस्तिष्क में लगभग समान न्यूरॉन्स होते हैं, कुछ बुनियादी सिद्धांत इसके काम के दिल में होना चाहिए।

मुझे न्यूरॉन्स के बारे में क्या पता नहीं है

ऐसे कई प्रश्न हैं जिनके बारे में मुझे लोकप्रिय साहित्य में स्पष्ट उत्तर नहीं मिले हैं;

• जाहिर है, एक न्यूरॉन किसी तरह न्यूरोट्रांसमीटर का जवाब देता है, लेकिन वास्तव में कैसे? साधारण धारणा है कि न्यूरोट्रांसमीटर जितना अधिक बार आसंजन करता है, स्पष्ट रूप से आलोचना तक नहीं होती है। यदि ऐसा होता है, तो एक न्यूरॉन का ट्रिगर कई पड़ोसियों, अगले वाले लोगों की ट्रिगरिंग को ट्रिगर करेगा, और थोड़े समय में यह हिमस्खलन पूरे मस्तिष्क पर कब्जा कर लेगा। लेकिन वास्तव में ऐसा नहीं होता है, उसी समय मस्तिष्क में न्यूरॉन्स का केवल एक छोटा सा हिस्सा काम करता है। क्यों?
• न्यूरॉन्स स्पष्ट रूप से मेमोरी यूनिट हैं, लेकिन वे जानकारी कैसे संग्रहीत करते हैं? न्यूरॉन का मध्य भाग कुछ खास नहीं है: माइटोकॉन्ड्रिया और इस तरह के नाभिक। एक्सॉन स्पाइक को प्रभावित नहीं कर सकता है, क्योंकि जानकारी केवल कोर से एक दिशा में जाती है। तो केवल एक चीज जो बची हुई है वह है डेंड्राइट्स। लेकिन उनमें जानकारी कैसे संग्रहीत की जाती है? एनालॉग या डिजिटल रूप में?
• जाहिर है, न्यूरॉन्स किसी तरह सीख रहे हैं। लेकिन वास्तव में कैसे? मान लीजिए कि डेंड्राइट उन जगहों पर बढ़ता है जहां स्पाइक से ठीक पहले बहुत सारे न्यूरोट्रांसमीटर थे। लेकिन अगर ऐसा है, तो ट्रिगर किया गया न्यूरॉन थोड़ा बढ़ जाएगा और अगली बार जब एक न्यूरोट्रांसमीटर दिखाई देगा, तो यह पड़ोसियों के बीच सबसे मोटा होगा, यह न्यूरोट्रांसमीटर के सबसे को अवशोषित करेगा और फिर से काम करेगा। और फिर से थोड़ा बड़ा हो जाता है। और इसलिए अनंत तक, जब तक वह अपने सभी पड़ोसियों का गला घोंट नहीं देता? क्या यहाँ कुछ गड़बड़ है?
• यदि एक न्यूरॉन बढ़ता है, तो पड़ोसी को कम करना चाहिए, सिर रबर नहीं है। कुछ कारण न्यूरॉन के सूखने का कारण होना चाहिए। क्या?

सिर्फ क्लस्टरिंग

इन सभी सवालों का प्रशंसनीय जवाब मुझे लगता है कि मस्तिष्क बहुत सारे साधारण समूहों की तरह काम करता है। क्या न्यूरॉन्स के समूह पर इस तरह के एल्गोरिदम को निष्पादित करना संभव है? उदाहरण के लिए, K- साधन विधि। काफी बस इसे थोड़ा सरल बनाने की जरूरत है। शास्त्रीय एल्गोरिथ्म में, केंद्रों की गणना सभी अनुमानित उदाहरणों के औसत के रूप में की जाती है, लेकिन हम प्रत्येक उदाहरण के तुरंत बाद केंद्र को स्थानांतरित कर देंगे।

आइए देखें कि क्लस्टरिंग एल्गोरिदम को लागू करने के लिए हमें क्या चाहिए।

• क्लस्टर केंद्र, निश्चित रूप से, हमारे समूह में न्यूरॉन्स के डेंड्राइट हैं। लेकिन जानकारी को कैसे याद रखें? मान लीजिए कि डेंड्राइट में सूचनाओं को संग्रहीत करने के लिए यूनिट सेल, सिंकैप क्षेत्र में डेन्ड्राइट शाखा की मात्रा है। क्रमशः शाखा जितनी मोटी होती है, उसका आयतन बड़ा होता है, उतना ही बड़ा मूल्य बचाया जाता है। इस प्रकार, प्रत्येक डेंड्राइट कई एनालॉग मात्रा को याद कर सकता है।
• उदाहरण की निकटता की गणना करने के लिए तुलनाकर्ता। यह अधिक जटिल है। मान लीजिए कि डेटा की आपूर्ति होने के बाद (प्रत्येक न्यूरॉन्स ने एक न्यूरोट्रांसमीटर को निकाल दिया), प्रत्येक न्यूरॉन तेजी से काम करेगा, अधिक संग्रहीत डेटा (क्लस्टर का केंद्र) दिए गए उदाहरण (न्यूरोट्रांसमीटर की संख्या) के समान है। कृपया ध्यान दें कि एक न्यूरॉन की प्रतिक्रिया दर न्यूरोट्रांसमीटर की पूर्ण राशि से प्रभावित नहीं होती है, बल्कि न्यूरोट्रांसमीटर की मात्रा के निकटता से डेन्ड्राइट्स में संग्रहीत मूल्य तक प्रभावित होती है। मान लीजिए कि यदि न्यूरोट्रांसमीटर छोटा है, तो डेंड्राइट स्पाइक को एक कमांड नहीं देता है। कुछ भी नहीं होता है और यदि बहुत अधिक न्यूरोट्रांसमीटर है, तो डेंड्रिटिक शाखा का स्पाइक अन्य डेंड्राइटिक शाखाओं की तुलना में पहले होता है और नाभिक तक नहीं पहुंचता है। लेकिन अगर न्यूरोट्रांसमीटर सही है, तो सभी डेन्ड्रिटिक शाखाएं लगभग एक ही समय में एक मिनी-स्पाइक देंगी, और यह लहर न्यूरॉन के स्पाइक में बदल जाएगी जो अक्षतंतु के साथ जाएगी।
• एक बहु-इनपुट तुलनित्र आपको परिणामों की तुलना करने और सर्वश्रेष्ठ चुनने की अनुमति देता है। मान लीजिए कि आस-पास के न्यूरॉन्स का उनके सभी पड़ोसियों पर निरोधात्मक प्रभाव है। तो, न्यूरॉन्स के एक निश्चित समूह में, कोई भी किसी भी समय सक्रिय हो सकता है। वह जो पहले काम करता था। चूंकि समूह में न्यूरॉन्स पास हैं, इसलिए इस समूह में आने वाले सभी अक्षतंतुओं के लिए उनकी पहुंच समान है। इस प्रकार, न्यूरॉन जिसमें संग्रहीत जानकारी प्रश्न में उदाहरण के सबसे करीब है समूह में काम करेगी।
• उदाहरण के लिए केंद्र के विस्थापन का तंत्र। खैर, सब कुछ सरल है। न्यूरॉन स्पाइक के बाद, इस न्यूरॉन के सभी डेन्ड्राइट अपनी मात्रा बदल देते हैं। जहां न्यूरोट्रांसमीटर की एकाग्रता बहुत अधिक थी, शाखाएं बढ़ती हैं। जहां यह अपर्याप्त था, टहनियाँ कम हो जाती हैं। जहां एकाग्रता सिर्फ सही है, मात्रा नहीं बदलती है। टहनियों के वॉल्यूम थोड़े अलग होते हैं। लेकिन तुरंत। अगला स्पाइक अगला बदलाव है।

आइए परिणामी एल्गोरिदम को अभ्यास में देखें। मैंने पायथन में कुछ लाइनों को स्केच किया। यहाँ यादृच्छिक संख्या के दो आयामों के साथ क्या होता है:


और यहाँ MNIST है:


पहली नज़र में, ऐसा लगता है कि उपरोक्त सभी कुछ भी नहीं बदला है। खैर, हमारे पास इनपुट पर कुछ डेटा था, हमने किसी तरह इसे बदल दिया, अन्य डेटा मिला।

लेकिन वास्तव में एक अंतर है। यदि रूपांतरण से पहले हमारे पास एनालॉग मापदंडों का एक गुच्छा था, तो रूपांतरण के बाद हमारे पास केवल एक पैरामीटर है, एक ही समय में एक एकात्मक कोड द्वारा एन्कोड किया गया। समूह में प्रत्येक न्यूरॉन एक विशिष्ट कार्रवाई के साथ जुड़ा हो सकता है।

मुझे एक उदाहरण दें: मान लीजिए कि एक क्लस्टरिंग समूह में केवल दो न्यूरॉन्स हैं। उन्हें "स्वादिष्ट" और "डरावना" कहें। मस्तिष्क को निर्णय लेने की अनुमति देने के लिए, "ईएटी" न्यूरॉन को पहले एक से जोड़ना आवश्यक है, और दूसरे को "आरयूएन"। इसके लिए हमें एक शिक्षक की आवश्यकता है। लेकिन अब उस बारे में नहीं है, एक शिक्षक के साथ शिक्षण एक अन्य लेख के लिए एक विषय है।

यदि आप समूहों की संख्या बढ़ाते हैं, तो सटीकता धीरे-धीरे बढ़ेगी। एक चरम मामला उदाहरणों की संख्या के बराबर क्लस्टर की संख्या है। लेकिन एक समस्या है, मस्तिष्क में न्यूरॉन्स की संख्या सीमित है। किसी को लगातार सटीकता या मस्तिष्क के आकार से समझौता करना चाहिए।

मेटा क्लस्टरिंग

मान लीजिए कि हमारे पास एक समूह नहीं है, लेकिन दो हैं। इस स्थिति में, इनपुट पर समान मान लागू किए जाते हैं। जाहिर है, आपको वही परिणाम मिलता है।

चलिए थोड़ी रैंडम गलती करते हैं। चलो, कभी-कभी, प्रत्येक क्लस्टराइज़र क्लस्टर के निकटतम केंद्र का चयन नहीं करता है, लेकिन कौन सा। फिर मान अलग-अलग होने लगेंगे, समय के साथ अंतर जमा होगा।


और अब, प्रत्येक क्लस्टर की त्रुटि की गणना करते हैं। त्रुटि इनपुट उदाहरण और चयनित क्लस्टर के केंद्र के बीच का अंतर है। यदि एक क्लस्टर ने निकटतम मूल्य और दूसरे यादृच्छिक का चयन किया है, तो दूसरे में बड़ी त्रुटि होगी।

आगे बढ़ो, प्रत्येक क्लस्टर के इनपुट में एक मुखौटा जोड़ें। एक मुखौटा प्रत्येक इनपुट के लिए गुणांक का एक सेट है। शून्य या एक नहीं, जैसा कि आमतौर पर मास्क में किया जाता है, लेकिन शून्य से एक तक कुछ वास्तविक संख्या।

क्लस्टर के इनपुट के लिए एक उदाहरण देने से पहले, हम इस उदाहरण को एक मुखौटा से गुणा करेंगे। उदाहरण के लिए, यदि किसी चित्र के लिए मास्क का उपयोग किया जाता है, तो यदि कुछ पिक्सेल के लिए मुखौटा एक के बराबर है, तो यह ऐसा है जैसे कि पूरी तरह से पारदर्शी हो। और अगर मुखौटा शून्य है, तो यह पिक्सेल हमेशा काला होता है। और अगर मुखौटा 1/2 है, तो पिक्सेल आधा अंधेरा है।

और अब मुख्य कार्रवाई, हम क्लस्टरिंग त्रुटि के अनुपात में मुखौटा के मूल्य को कम कर देंगे। यही है, यदि त्रुटि बड़ी है, तो हम मूल्य को अधिक दृढ़ता से कम कर देंगे, और यदि यह शून्य है, तो हम इसे कम नहीं करेंगे।

इस क्रम में कि मास्क का मान धीरे-धीरे शून्य पर रीसेट नहीं होता है, हम उन्हें सामान्य करेंगे। यही है, प्रत्येक इनपुट पैरामीटर के लिए मास्क मान का योग हमेशा एक के बराबर होता है। यदि एक मुखौटा में कुछ दूर ले जाया जाता है, तो इसे दूसरे में जोड़ा जाता है।

आइए यह देखने की कोशिश करें कि MNIST के उदाहरण के साथ क्या होता है। हम देखते हैं कि मुखौटे धीरे-धीरे पिक्सेल को दो भागों में विभाजित करते हैं।


परिणामस्वरूप मास्क तस्वीर के दाईं ओर दिखाए गए हैं। प्रक्रिया के अंत में, ऊपरी क्लस्टराइज़र निचले दाईं ओर मानता है, और निचला क्लस्टराइज़र शेष उदाहरणों को छोड़ता है। दिलचस्प बात यह है कि अगर हम प्रक्रिया को फिर से शुरू करते हैं, तो हमें एक और अलगाव मिलेगा। लेकिन एक ही समय में, मापदंडों के समूहों को यादृच्छिक रूप से प्राप्त नहीं किया जाता है, लेकिन इस तरह से भविष्यवाणी की त्रुटि को कम करने के लिए। क्लस्टर प्रत्येक पिक्सेल को अपने मास्क पर आज़माते दिखते हैं, और उसी समय, पिक्सेल उस क्लस्टर को उठाता है जिससे पिक्सेल सबसे अच्छा लगता है।

आइए एक-दूसरे पर आरोपित नहीं, बल्कि एक-दूसरे के बगल में स्थित, दोहरे अंकों को इनपुट करने का प्रयास करें, जैसे कि (यह एक उदाहरण है, दो नहीं):


अब हम देखते हैं कि हर बार, अलगाव समान होता है। यही है, अगर कोई एकल, स्पष्ट रूप से मुखौटे को अलग करने का सबसे अच्छा विकल्प है, तो उसे चुना जाएगा।


केवल एक चीज यादृच्छिक होगी, चाहे पहला मुखौटा बाएं अंक का चयन करेगा या सही एक।

मैं परिणामी मास्क मेटा-क्लस्टर्स कहता हूं। और मेटा-क्लस्टरिंग द्वारा मास्क बनाने की प्रक्रिया। मेटा क्यों? क्योंकि क्लस्टरिंग इनपुट उदाहरणों की नहीं है, बल्कि स्वयं इनपुट्स की है।

एक उदाहरण अधिक जटिल है। आइए 25 मापदंडों को 5 मेटा समूहों में विभाजित करने का प्रयास करें।

ऐसा करने के लिए, हम एकात्मक कोड द्वारा एन्कोड किए गए पांच मापदंडों के पांच समूहों को लेते हैं।

यही है, प्रत्येक समूह में यादृच्छिक स्थान पर एक और केवल एक इकाई है। हमेशा सेवारत प्रत्येक उदाहरण में पाँच इकाइयाँ होती हैं।

नीचे दी गई तस्वीरों में, प्रत्येक कॉलम एक इनपुट पैरामीटर है, और प्रत्येक पंक्ति मेटा-क्लस्टर मास्क है। क्लस्टर खुद नहीं दिखाए गए हैं।


100 पैरामीटर और 10 मेटा क्लस्टर:


यह काम करता है! कुछ स्थानों पर, यह उसी नाम की फिल्म से मैट्रिक्स की एक छवि से भी मिलता जुलता है।

मेटा-क्लस्टरिंग का उपयोग नाटकीय रूप से समूहों की संख्या को कम कर सकता है।

उदाहरण के लिए, दस मापदंडों के दस समूह लें, प्रत्येक समूह में एक इकाई है।

यदि हमारे पास एक क्लीज़र (कोई मेटा-क्लस्टर) नहीं है, तो शून्य त्रुटि प्राप्त करने के लिए हमें 10 ¹⁰ = 10000000000 क्लस्टर्स की आवश्यकता होती है।

और अगर हमारे पास दस क्लस्टर हैं, तो हमें केवल 10 * 10 = 100 क्लस्टर चाहिए। यह दशमलव संख्या प्रणाली के समान है, आपको सभी संभव संख्याओं के लिए अंकन के साथ आने की आवश्यकता नहीं है, आप दस अंकों के साथ कर सकते हैं।

मेटा क्लस्टरिंग बहुत अच्छी तरह से समानांतर है। प्रत्येक क्लस्टर के लिए सबसे महंगी गणना (क्लस्टर के केंद्र के साथ उदाहरण की तुलना) स्वतंत्र रूप से की जा सकती है। कृपया ध्यान दें, क्लस्टरिंग के लिए नहीं, बल्कि क्लस्टर के लिए।

यह मस्तिष्क में कैसे काम करता है

इससे पहले, मैंने केवल डेन्ड्राइट के बारे में बात की थी, लेकिन न्यूरॉन्स में अक्षतंतु हैं। और वे पढ़ाई भी करते हैं। इसलिए, यह बहुत संभावना है कि अक्षतंतु मेटा क्लस्टर्स के मुखौटे हैं।

हम उपरोक्त डेंड्राइट ऑपरेशन के विवरण में एक और फ़ंक्शन जोड़ते हैं।

मान लीजिए कि यदि एक न्यूरॉन स्पाइक होता है, तो सभी डेन्ड्राइट किसी तरह से सिंकैप्स में निकल जाते हैं जो किसी प्रकार के पदार्थ को डेंड्राइट में न्यूरोट्रांसमीटर की एकाग्रता को दर्शाता है। एक्सोन से डेंड्राइट तक नहीं, बल्कि पीछे। इस पदार्थ की एकाग्रता तुलनात्मक त्रुटि पर निर्भर करती है। मान लीजिए कि त्रुटि जितनी छोटी होगी, पदार्थ की मात्रा उतनी ही अधिक होगी। खैर, अक्षतंतु इस पदार्थ की मात्रा पर प्रतिक्रिया करता है और बढ़ता है। और यदि पदार्थ छोटा है, जिसका अर्थ है कि एक बड़ी गलती है, तो अक्षतंतु धीरे-धीरे कम हो जाता है।

और अगर मस्तिष्क के बहुत जन्म से इस तरह से अक्षतंतु बदल दिए जाते हैं, तो समय के साथ, वे केवल उन न्यूरॉन्स के उन समूहों में जाएंगे जहां इन अक्षों के लिए उनके आसंजन की आवश्यकता होती है (बड़ी त्रुटियों के लिए नेतृत्व नहीं)।

उदाहरण: मानव चेहरे को याद रखें। प्रत्येक चेहरे को एक मेगापिक्सेल छवि के साथ चित्रित किया गया है। फिर हर चेहरे के लिए आपको एक लाख डेन्ड्राइट के साथ एक न्यूरॉन की आवश्यकता होती है, जो अवास्तविक है। अब, सभी पिक्सेल को मेटा क्लस्टर्स में विभाजित करें, जैसे आँखें, नाक, कान, और इसी तरह। केवल दस ऐसे मेटा क्लस्टर। प्रत्येक मेटा-क्लस्टर के लिए दस क्लस्टर, दस नाक विकल्प, दस कान विकल्प और इतने पर होने दें। अब, चेहरे को याद करने के लिए, दस डेन्ड्राइट के साथ एक न्यूरॉन पर्याप्त है। यह परिमाण के पांच आदेशों द्वारा स्मृति (और मस्तिष्क की मात्रा) को कम करता है।

निष्कर्ष

और अब, अगर हम मानते हैं कि मस्तिष्क में मेटा-क्लस्टर्स होते हैं, तो हम इस दृष्टिकोण से विचार करने की कोशिश कर सकते हैं कि जीवित मस्तिष्क में निहित कुछ अवधारणाएं:

समूहों को लगातार प्रशिक्षित करने की आवश्यकता है, अन्यथा नए डेटा को सही ढंग से संसाधित नहीं किया जाएगा। मस्तिष्क में समूहों को प्रशिक्षित करने के लिए, एक संतुलित नमूने की आवश्यकता होती है। मुझे समझाएं कि यदि सर्दी अब है, तो मस्तिष्क केवल सर्दियों के उदाहरणों से सीखेगा, और परिणामस्वरूप क्लस्टर धीरे-धीरे केवल सर्दियों के लिए प्रासंगिक हो जाएंगे, और गर्मियों में इस मस्तिष्क के लिए सब कुछ खराब होगा। इसके बारे में क्या करना है? समय-समय पर सभी समूहों को न केवल नए, बल्कि पुराने महत्वपूर्ण उदाहरणों (सर्दियों और गर्मियों दोनों की यादें) को प्रस्तुत करना आवश्यक है। और ताकि ये भावनाएं वर्तमान भावनाओं के साथ हस्तक्षेप न करें, आपको अस्थायी रूप से इंद्रियों को बंद करने की आवश्यकता है। जानवरों में, इसे एक सपना कहा जाता है।

कल्पना कीजिए, मस्तिष्क कुछ छोटा, GRAY देखता है, जो चलता है। मेटा-क्लस्टरिंग के बाद, हमारे पास तीन मेटा-क्लस्टर्स में तीन सक्रिय न्यूरॉन्स हैं। और स्मृति के लिए धन्यवाद, मस्तिष्क जानता है कि यह स्वादिष्ट है। फिर, मस्तिष्क कुछ छोटा, BLUE देखता है जो चलता है। लेकिन दिमाग यह नहीं जानता कि यह स्वादिष्ट है या डरावना है। यह मेटा क्लस्टर को अस्थायी रूप से अक्षम करने के लिए पर्याप्त है जहां रंग स्थित हैं, और केवल एक छोटा है जो चलता है। और मस्तिष्क जानता है कि यह स्वादिष्ट है। इसे सादृश्य कहते हैं।

मान लीजिए कि मस्तिष्क ने कुछ याद किया, और फिर सक्रिय न्यूरॉन क्लस्टर को किसी समूह में किसी अन्य में बदल दिया, जबकि शेष मेटा-क्लस्टर्स में एक वास्तविक मेमोरी है। और अब, मस्तिष्क ने पहले से ही कुछ ऐसा पेश किया है जो पहले कभी नहीं देखा गया था। और यह पहले से ही एक कल्पना है ।

आपका ध्यान के लिए धन्यवाद, कोड यहाँ है ।