कैप्सुलर न्यूरल नेटवर्क

2017 में, जेफरी हिंटन (त्रुटि के प्रचार प्रसार के संस्थापकों में से एक) ने कैप्सुलर तंत्रिका नेटवर्क का वर्णन करते हुए एक लेख प्रकाशित किया और प्रस्तावित वास्तुकला को सिखाने के लिए कैप्सूल के बीच गतिशील मार्ग के लिए एक एल्गोरिथ्म का प्रस्ताव रखा।

क्लासिक कन्वेन्शनल न्यूरल नेटवर्क के नुकसान हैं। दृढ़ तंत्रिका नेटवर्क डेटा का आंतरिक प्रतिनिधित्व सरल और जटिल वस्तुओं के बीच स्थानिक पदानुक्रम को ध्यान में नहीं रखता है। इसलिए, यदि एक दृढ़ तंत्रिका नेटवर्क के लिए आंख, नाक और होंठ बेतरतीब ढंग से छवि में प्रदर्शित होते हैं, तो यह एक चेहरे की उपस्थिति का एक स्पष्ट संकेत है। और ऑब्जेक्ट का रोटेशन मान्यता की गुणवत्ता को प्रभावित करता है, जबकि मानव मस्तिष्क आसानी से इस समस्या को हल करता है।


एक दृढ़ तंत्रिका नेटवर्क के लिए, 2 चित्र समान हैं [2]


विभिन्न सीएनएन कोणों से ऑब्जेक्ट मान्यता को प्रशिक्षित करने के लिए हजारों उदाहरणों की आवश्यकता होगी।


कैप्सूल नेटवर्क किसी ऑब्जेक्ट की मान्यता त्रुटि को किसी अन्य कोण से 45% कम कर देता है।

प्रिस्क्रिप्शन कैप्सूल

कैप्सूल फ़ंक्शन की स्थिति के बारे में जानकारी संलग्न करता है, जो वेक्टर रूप में पाया जाता है। कैप्सूल उत्पादन वेक्टर की लंबाई के रूप में एक वस्तु का पता लगाने की संभावना को कूटबद्ध करता है। पता चला फ़ंक्शन की स्थिति उस दिशा के रूप में एन्कोड की गई है जिसमें वेक्टर अंक ("उदाहरण निर्माण पैरामीटर") है। इसलिए, जब पता चला फ़ंक्शन छवि के माध्यम से चलता है या छवि की स्थिति बदल जाती है, तो संभावना अपरिवर्तित रहती है (वेक्टर की लंबाई नहीं बदलती), लेकिन अभिविन्यास बदल जाता है।

कल्पना कीजिए कि एक कैप्सूल एक छवि में एक चेहरे का पता लगाता है और 0.99 की लंबाई के 3 डी वेक्टर को आउटपुट करता है। फिर, चेहरे को छवि में स्थानांतरित करें। वेक्टर अपनी स्थिति में बदल जाएगा, एक बदलती स्थिति का प्रतिनिधित्व करेगा, लेकिन इसकी लंबाई तय रहेगी क्योंकि कैप्सूल को विश्वास है कि उसने एक चेहरे का पता लगाया है।



कैप्सूल और न्यूरॉन्स के बीच अंतर। [२]

एक कृत्रिम न्यूरॉन को तीन चरणों में वर्णित किया जा सकता है:

1. स्केलर का भार इनपुट स्केलर का होता है
2. भारित इनपुट स्केल की राशि
3. गैर-रैखिक स्केलर परिवर्तन।

कैप्सूल में इनपुट के एफाइन परिवर्तन के नए चरण के अलावा, उपरोक्त 3 चरणों के वेक्टर रूप हैं:

1. इनपुट वैक्टर का मैट्रिक्स गुणन
2. इनपुट वैक्टर का स्केलर भार
3. भारित इनपुट वैक्टर का योग
4. वेक्टर nonlinearity।

कैप्सनेट में शुरू किया गया एक और नवाचार एक नया नॉनलाइनियर सक्रियण फ़ंक्शन है जो एक वेक्टर लेता है और फिर "1 से अधिक नहीं" अपनी लंबाई देता है, लेकिन दिशा नहीं बदलता है।



समीकरण के दाईं ओर (नीली आयत) इनपुट वेक्टर को मापता है ताकि वेक्टर में एक ब्लॉक लंबाई हो, और बाईं ओर (लाल आयत) अतिरिक्त स्केलिंग करता है।

कैप्सूल का डिज़ाइन एक कृत्रिम न्यूरॉन के निर्माण पर आधारित है, लेकिन इसे अधिक शक्तिशाली प्रतिनिधि क्षमताओं प्रदान करने के लिए एक वेक्टर रूप में विस्तारित करता है। विभिन्न परतों की विशेषताओं के बीच पदानुक्रमित संबंधों को कोड करने के लिए मैट्रिक्स वज़न भी पेश किया जाता है। तंत्रिका गतिविधि का संतुलन इनपुट डेटा में परिवर्तन और संकेतों का पता लगाने की संभावनाओं में अंतर के संबंध में प्राप्त किया जाता है।

कैप्सूल के बीच गतिशील मार्ग

गतिशील मार्ग एल्गोरिथ्म [1]।

पहली पंक्ति कहती है कि यह प्रक्रिया निचले स्तर पर कैप्सूल लेती है और उनके आउटपुट u_hat, साथ ही रूटिंग पुनरावृत्तियों की संख्या आर। अंतिम पंक्ति का कहना है कि एल्गोरिथ्म एक उच्च स्तर के कैप्सूल v_j के उत्पादन का उत्पादन करेगा।

दूसरी पंक्ति में एक नया गुणांक b_ij है, जिसे हमने पहले नहीं देखा है। यह गुणांक एक अस्थायी मूल्य है जिसे पुनरावृत्त रूप से अपडेट किया जाएगा, और प्रक्रिया पूरी होने के बाद, इसका मूल्य c_ij में संग्रहीत किया जाएगा। प्रशिक्षण की शुरुआत में, b_ij का मूल्य शून्य से शुरू होता है।

पंक्ति 3 में कहा गया है कि चरण 4-7 को बार बार दोहराया जाएगा।
लाइन 4 में कदम वेक्टर c_i के मूल्य की गणना करता है, जो निचले कैप्सूल i के लिए सभी रूटिंग वेट है।

वजन के बाद c_ij की गणना निचले स्तर के कैप्सूल के लिए की जाती है, पंक्ति 5 पर जाएं, जहां हम उच्च स्तर के कैप्सूल को देखते हैं। यह चरण पिछले चरणों में परिभाषित रूटिंग गुणांक c_ij का उपयोग करके भारित इनपुट वैक्टर के रैखिक संयोजन की गणना करता है।

फिर, लाइन 6 में, अंतिम चरण के वैक्टर एक नॉनलाइनियर परिवर्तन से गुजरते हैं, जो वेक्टर की दिशा की गारंटी देता है, लेकिन इसकी लंबाई 1 से अधिक नहीं होनी चाहिए। यह चरण कैप्सूल के सभी उच्च स्तरों के लिए आउटपुट वेक्टर v_j बनाता है। [2]
मूल विचार यह है कि इनपुट और आउटपुट के बीच समानता को कैप्सूल के इनपुट और आउटपुट के बीच स्केलर उत्पाद के रूप में मापा जाता है, और फिर रूटिंग गुणांक में परिवर्तन होता है। सबसे अच्छा अभ्यास तीन मार्ग पुनरावृत्तियों का उपयोग करना है।

निष्कर्ष

कैप्सुलर न्यूरल नेटवर्क तंत्रिका नेटवर्क का एक आशाजनक वास्तुकला है जो बदलते कोण और श्रेणीबद्ध संरचना के साथ छवि मान्यता को बेहतर बनाता है। कैप्सुलर तंत्रिका नेटवर्क को कैप्सूल के बीच गतिशील मार्ग का उपयोग करके प्रशिक्षित किया जाता है। कैप्सूल नेटवर्क सीएनएन की तुलना में किसी ऑब्जेक्ट की मान्यता त्रुटि को अलग कोण से 45% कम करता है।