न्यूरल नेटवर्क कितने गहरे दिखते हैं और उन्हें इतनी मेमोरी की आवश्यकता क्यों होती है

आज, मशीन लर्निंग सिस्टम में बनाए गए मॉडल का वर्णन करने के लिए सबसे स्वीकार्य तरीकों में से एक है। ये कम्प्यूटेशनल रेखांकन सिनाप्स किनारों से जुड़े न्यूरॉन कोने से बने होते हैं जो कोने के बीच के कनेक्शन का वर्णन करते हैं।

एक स्केलर केंद्रीय या वेक्टर ग्राफिक्स प्रोसेसर के विपरीत, IPU - मशीन सीखने के लिए डिज़ाइन किया गया एक नया प्रकार का प्रोसेसर, आपको ऐसे ग्राफ़ बनाने की अनुमति देता है। ग्राफ प्रबंधन के लिए डिज़ाइन किया गया कंप्यूटर, मशीन लर्निंग के हिस्से के रूप में निर्मित कम्प्यूटेशनल ग्राफ मॉडल के लिए एक आदर्श मशीन है।

मशीन इंटेलिजेंस कैसे काम करती है, इसका वर्णन करने के लिए सबसे आसान तरीकों में से एक है। ग्राफकोर की विकास टीम ने आईपीयू पर प्रदर्शित इन चित्रों का एक संग्रह बनाया है। आधार पोपलर सॉफ्टवेयर था, जो कृत्रिम बुद्धिमत्ता के काम की कल्पना करता है। इस कंपनी के शोधकर्ताओं ने यह भी पता लगाया कि क्यों गहरे नेटवर्क को इतनी मेमोरी की आवश्यकता होती है, और क्या समाधान मौजूद हैं।

पोपलर में एक ग्राफिकल कंपाइलर शामिल होता है जो कि एमबीबीएस के लिए अत्यधिक अनुकूलित एप्लिकेशन कोड में मशीन लर्निंग के हिस्से के रूप में उपयोग किए जाने वाले मानक संचालन का अनुवाद करने के लिए स्क्रैच से बनाया गया था। यह आपको इन ग्राफ़ को एक साथ एक ही सिद्धांत पर इकट्ठा करने की अनुमति देता है, जैसे कि POPNN इकट्ठे होते हैं। पुस्तकालय में सामान्यीकृत आदिम के लिए विभिन्न प्रकार के कोने का एक सेट होता है।

रेखांकन वह प्रतिमान है जिस पर सभी सॉफ्टवेयर आधारित हैं। चिनार में, रेखांकन आपको गणना प्रक्रिया को परिभाषित करने की अनुमति देता है, जहां कोने संचालन करते हैं और किनारों उनके बीच के संबंध का वर्णन करते हैं। उदाहरण के लिए, यदि आप दो संख्याओं को एक साथ जोड़ना चाहते हैं, तो आप दो इनपुटों (जिन संख्याओं को आप जोड़ना चाहते हैं) के साथ एक शीर्ष को परिभाषित कर सकते हैं, कुछ गणना (दो संख्याओं को जोड़ने का कार्य) और आउटपुट (परिणाम)।



आमतौर पर, शीर्ष संचालन ऊपर वर्णित उदाहरण की तुलना में अधिक जटिल हैं। अक्सर उन्हें कोडलेट (कोड नाम) नामक छोटे कार्यक्रमों द्वारा परिभाषित किया जाता है। ग्राफिक एब्स्ट्रैक्शन आकर्षक है क्योंकि यह कम्प्यूटेशंस की संरचना के बारे में कोई धारणा नहीं बनाता है और आईपीयू प्रोसेसर काम करने के लिए उपयोग किए जा सकने वाले कंपोनेंट में कंपटीशन को तोड़ देता है।

चिनार इस सरल अमूर्त का उपयोग बहुत बड़े ग्राफ़ बनाने के लिए करता है जिन्हें छवियों के रूप में दर्शाया जाता है। ग्राफ की प्रोग्रामेटिक पीढ़ी का अर्थ है कि हम आईपीयू संसाधनों के सबसे कुशल उपयोग को सुनिश्चित करने के लिए आवश्यक विशिष्ट गणना के लिए इसे अनुकूलित कर सकते हैं।

कंपाइलर मशीन शिक्षण प्रणालियों में उपयोग किए जाने वाले मानक संचालन का आईपीयू के लिए अत्यधिक अनुकूलित अनुप्रयोग कोड में अनुवाद करता है। एक ग्राफ कंपाइलर एक कम्प्यूटेशनल ग्राफ की एक मध्यवर्ती छवि बनाता है जिसे एक या एक से अधिक आईपीयू उपकरणों पर तैनात किया जाता है। कंपाइलर इस कम्प्यूटेशनल ग्राफ को प्रदर्शित कर सकता है, इसलिए न्यूरल नेटवर्क स्ट्रक्चर लेवल पर लिखे गए एप्लिकेशन आईपीयू पर चलने वाले कम्प्यूटेशनल ग्राफ की एक छवि प्रदर्शित करता है।


एलेक्सनेट फुल-साइकल लर्निंग ग्राफ फॉरवर्ड एंड बैकवर्ड

ग्राफिक कंपाइलर पोपलर ने एलेक्सनेट के विवरण को 18.7 मिलियन वर्टिकल और 115.8 मिलियन किनारों के कम्प्यूटेशनल ग्राफ में बदल दिया। स्पष्ट रूप से दृश्यमान क्लस्टरिंग नेटवर्क की प्रत्येक परत में प्रक्रियाओं के बीच मजबूत संबंध का परिणाम है जो स्तरों के बीच एक आसान कनेक्शन है।

एक और उदाहरण पूर्ण कनेक्टिविटी के साथ एक सरल नेटवर्क है, जिसे MNIST में प्रशिक्षित किया गया है - कंप्यूटर विज़न के लिए एक सरल डेटासेट, मशीन लर्निंग में "हैलो, वर्ल्ड" का एक प्रकार। इस डेटासेट का पता लगाने के लिए एक सरल नेटवर्क उन ग्राफ्स को समझने में मदद करता है जो पोपलर अनुप्रयोगों द्वारा नियंत्रित होते हैं। TensorFlow जैसे वातावरण के साथ ग्राफ पुस्तकालयों को एकीकृत करके, कंपनी मशीन सीखने के अनुप्रयोगों में आईपीयू का उपयोग करने के सबसे आसान तरीकों में से एक प्रदान करती है।



संकलक का उपयोग करके ग्राफ बनाए जाने के बाद, इसे निष्पादित करने की आवश्यकता है। यह ग्राफ इंजन का उपयोग करना संभव है। उदाहरण के रूप में ResNet-50 का उपयोग करते हुए, इसके संचालन का प्रदर्शन किया जाता है।


गणना ResNet-50

ResNet-50 आर्किटेक्चर आपको दोहराव वाले विभाजन से गहरे नेटवर्क बनाने की अनुमति देता है। प्रोसेसर को केवल एक बार इन विभाजनों को निर्धारित करने और उन्हें फिर से कॉल करने की आवश्यकता है। उदाहरण के लिए, एक कन्वेंशन लेवल क्लस्टर को छह बार निष्पादित किया जाता है, लेकिन केवल एक बार ग्राफ पर लागू होता है। छवि विभिन्न प्रकार के आकृतियों की परतों को प्रदर्शित करती है, क्योंकि उनमें से प्रत्येक में प्राकृतिक रूप गणना के अनुसार एक ग्राफ का निर्माण किया गया है।

इंजन कंपाइलर द्वारा बनाए गए ग्राफ का उपयोग करके मशीन लर्निंग मॉडल के निष्पादन को बनाता और नियंत्रित करता है। एक बार तैनात होने पर, ग्राफ इंजन IPUs या अनुप्रयोगों द्वारा उपयोग किए जाने वाले उपकरणों की निगरानी और प्रतिक्रिया करता है।

छवि ResNet-50 पूरे मॉडल को दर्शाता है। इस स्तर पर, व्यक्तिगत कोने के बीच अंतर करना मुश्किल है, इसलिए आपको बढ़े हुए चित्रों को देखना चाहिए। निम्नलिखित एक तंत्रिका नेटवर्क की परतों के भीतर वर्गों के कुछ उदाहरण हैं।

गहरे नेटवर्क को इतनी मेमोरी की आवश्यकता क्यों है?

कब्जे वाली स्मृति की बड़ी मात्रा गहरी तंत्रिका नेटवर्क की सबसे बड़ी समस्याओं में से एक है। शोधकर्ता डीआरएएम उपकरणों के सीमित बैंडविड्थ से निपटने की कोशिश कर रहे हैं, जिनका उपयोग आधुनिक प्रणालियों द्वारा एक विशाल तंत्रिका नेटवर्क में भारी संख्या में वज़न और सक्रियणों को संग्रहीत करने के लिए किया जाना चाहिए।

उच्च घनत्व वाले स्मृति के लिए अनुक्रमिक प्रसंस्करण और DRAM के अनुकूलन के लिए डिज़ाइन किए गए प्रोसेसर चिप्स का उपयोग करके आर्किटेक्चर विकसित किए गए थे। दो उपकरणों के बीच इंटरफ़ेस एक अड़चन है जो बैंडविड्थ सीमाओं का परिचय देता है और ऊर्जा की खपत में महत्वपूर्ण ओवरहेड जोड़ता है।

हालांकि हमारे पास अभी भी मानव मस्तिष्क की पूरी तस्वीर नहीं है और यह कैसे काम करता है, यह आम तौर पर स्पष्ट है कि स्मृति के लिए कोई अलग भंडारण सुविधा नहीं है। यह माना जाता है कि मानव मस्तिष्क में दीर्घकालिक और अल्पकालिक स्मृति का कार्य न्यूरॉन्स + सिनेप्स की संरचना में अंतर्निहित है। मस्तिष्क के एक तंत्रिका संरचना के साथ कीड़े जैसे साधारण जीव भी, केवल 300 से अधिक न्यूरॉन्स से मिलकर, स्मृति समारोह के कुछ डिग्री होते हैं।

पारंपरिक प्रोसेसर में मेमोरी का निर्माण एक बहुत कम बिजली की खपत के साथ विशाल बैंडविड्थ को खोलकर मेमोरी बाधाओं के आसपास पहुंचने का एक तरीका है। फिर भी, चिप पर मेमोरी एक महंगी चीज है जिसे वास्तव में बड़ी मात्रा में मेमोरी के लिए डिज़ाइन नहीं किया गया है, जो कि वर्तमान में गहरे तंत्रिका नेटवर्क की तैयारी और तैनाती के लिए उपयोग किए जाने वाले केंद्रीय और ग्राफिक प्रोसेसर से जुड़े हैं।

इसलिए, यह देखने के लिए उपयोगी है कि केंद्रीय प्रसंस्करण इकाइयों और ग्राफिक एक्सीलेटर पर गहरी सीखने की प्रणालियों में आज मेमोरी का उपयोग कैसे किया जाता है और खुद से पूछें: जब मानव मस्तिष्क उनके बिना ठीक काम करता है तो उन्हें ऐसे बड़े मेमोरी स्टोरेज डिवाइस की आवश्यकता क्यों है?

इनपुट नेटवर्क, वजन मापदंडों और सक्रियण कार्यों को संग्रहीत करने के लिए तंत्रिका नेटवर्क की स्मृति की आवश्यकता होती है, क्योंकि इनपुट नेटवर्क के माध्यम से वितरित किया जाता है। प्रशिक्षण में, इनपुट पर सक्रियण को संरक्षित किया जाना चाहिए जब तक कि इसका उपयोग आउटपुट पर ग्रेडिएंट की त्रुटियों की गणना करने के लिए नहीं किया जा सकता है।

उदाहरण के लिए, एक 50-लेयर ResNet नेटवर्क में लगभग 26 मिलियन वेटिंग पैरामीटर हैं और 16 मिलियन फॉरवर्ड सक्रियणों की गणना करता है। यदि आप प्रत्येक वजन और सक्रियण को संग्रहीत करने के लिए 32-बिट फ्लोटिंग-पॉइंट नंबर का उपयोग करते हैं, तो इसके लिए लगभग 168 एमबी स्थान की आवश्यकता होगी। इन पैमानों और क्रियाकलापों को संग्रहीत करने के लिए कम सटीकता मूल्य का उपयोग करके, हम इस भंडारण आवश्यकता को आधा या चौगुना कर सकते हैं।

एक गंभीर मेमोरी समस्या इस तथ्य से उत्पन्न होती है कि GPUs घने वैक्टर के रूप में प्रतिनिधित्व किए गए डेटा पर भरोसा करते हैं। इसलिए, वे उच्च घनत्व कंप्यूटिंग को प्राप्त करने के लिए एक एकल निर्देश धारा (SIMD) का उपयोग कर सकते हैं। केंद्रीय प्रोसेसर उच्च प्रदर्शन कंप्यूटिंग के लिए समान वेक्टर ब्लॉकों का उपयोग करता है।

जीपीयू में, सिंकैप 1024 बिट्स चौड़ा होता है, इसलिए वे 32-बिट फ्लोटिंग पॉइंट डेटा का उपयोग करते हैं, इसलिए वे 1024-बिट डेटा वैक्टर बनाने के लिए अक्सर 32 नमूनों के समानांतर मिनी-बैच में तोड़ते हैं। वेक्टर समांतरवाद के आयोजन के लिए यह दृष्टिकोण सक्रियता की संख्या को 32 गुना बढ़ा देता है और 2 जीबी से अधिक की क्षमता वाले स्थानीय भंडारण की आवश्यकता होती है।

मैट्रिक्स बीजगणित के लिए डिज़ाइन किए गए जीपीयू और अन्य मशीनें भी भार या तंत्रिका नेटवर्क सक्रियण से मेमोरी लोड के अधीन हैं। जीपीयू छोटे तंत्रिका नेटवर्क में उपयोग किए जाने वाले छोटे संकल्पों को कुशलता से नहीं कर सकता है। इसलिए, इन रूपांतरणों को मैट्रिक्स-मैट्रिक्स गुणा (GEMM) में बदलने के लिए "डाउनग्रेड" नामक एक परिवर्तन का उपयोग किया जाता है, जिसे ग्राफिक्स त्वरक प्रभावी ढंग से संभाल सकते हैं।

इनपुट डेटा, समय मान और प्रोग्राम निर्देशों को संग्रहीत करने के लिए अतिरिक्त मेमोरी की भी आवश्यकता होती है। उच्च प्रदर्शन वाले GPU पर ResNet-50 का प्रशिक्षण लेते समय स्मृति उपयोग को मापने से पता चला है कि इसके लिए 7.5 GB से अधिक स्थानीय DRAM की आवश्यकता है।

शायद कोई यह तय करेगा कि कम सटीकता से आवश्यक स्मृति की मात्रा कम हो सकती है, लेकिन ऐसा नहीं है। जब आप डेटा मानों को वज़न और सक्रियण के लिए आधी सटीकता पर स्विच करते हैं, तो आप उपलब्ध कंप्यूटिंग संसाधनों का आधा खर्च करके, SIMD की केवल आधी वेक्टर चौड़ाई भरते हैं। इसकी भरपाई करने के लिए, जब आप GPU पर पूरी सटीकता से आधी सटीकता पर स्विच करते हैं, तो आपको सभी उपलब्ध गणनाओं का उपयोग करने के लिए पर्याप्त डेटा समानता के कारण मिनी-बैच के आकार को दोगुना करना होगा। इस प्रकार, GPU पर कम सटीकता के पैमाने और सक्रियण के लिए संक्रमण अभी भी मुफ्त पहुंच के साथ 7.5GB से अधिक गतिशील मेमोरी की आवश्यकता है।

बहुत अधिक डेटा संग्रहीत होने के साथ, यह सब इस GPU में फिट करना असंभव है। दृढ़ तंत्रिका नेटवर्क की प्रत्येक परत पर, बाहरी DRAM की स्थिति को बचाने के लिए आवश्यक है, अगली नेटवर्क परत को लोड करें और फिर सिस्टम में डेटा लोड करें। नतीजतन, बाहरी मेमोरी इंटरफ़ेस, जो पहले से ही मेमोरी बैंडविड्थ द्वारा सीमित है, शेष राशि को फिर से लोड करने के अतिरिक्त बोझ से ग्रस्त है, साथ ही सक्रियण कार्यों को सहेजना और पुनर्प्राप्त करना है। यह प्रशिक्षण के समय को काफी धीमा कर देता है और ऊर्जा की खपत को काफी बढ़ा देता है।

इस समस्या के कई समाधान हैं। सबसे पहले, सक्रियण फ़ंक्शन जैसे ऑपरेशन "स्पॉट पर" किए जा सकते हैं, जिससे आप इनपुट को सीधे आउटपुट पर अधिलेखित कर सकते हैं। इस प्रकार, मौजूदा मेमोरी का पुन: उपयोग किया जा सकता है। दूसरे, मेमोरी के पुन: उपयोग का अवसर नेटवर्क पर संचालन के बीच डेटा की निर्भरता का विश्लेषण करके प्राप्त किया जा सकता है और इस समय उपयोग नहीं कर रहे ऑपरेशन के लिए समान मेमोरी का वितरण।

दूसरा दृष्टिकोण विशेष रूप से प्रभावी है जब पूरे तंत्रिका नेटवर्क को एक निश्चित आवंटित मेमोरी बनाने के लिए संकलन चरण में विश्लेषण किया जा सकता है, क्योंकि स्मृति प्रबंधन की लागत लगभग शून्य हो जाती है। यह पता चला कि इन तरीकों के संयोजन से तंत्रिका नेटवर्क की मेमोरी उपयोग दो से तीन गुना कम हो जाती है।
Baidu डीप स्पीच टीम द्वारा हाल ही में एक तीसरा महत्वपूर्ण दृष्टिकोण खोजा गया था। उन्होंने सक्रियण कार्यों द्वारा स्मृति की खपत में 16 गुना कमी लाने के लिए मेमोरी को बचाने के विभिन्न तरीकों को लागू किया, जिससे उन्हें 100 परतों के साथ नेटवर्क को प्रशिक्षित करने की अनुमति मिली। पहले, समान मात्रा में मेमोरी के साथ, वे नौ परतों के साथ नेटवर्क को प्रशिक्षित कर सकते थे।

एक डिवाइस में मेमोरी और प्रोसेसिंग रिसोर्सेज को मिलाने से कंफर्टेबल न्यूरल नेटवर्क्स की उत्पादकता और दक्षता बढ़ाने के साथ-साथ मशीन लर्निंग के अन्य रूपों की महत्वपूर्ण संभावनाएं हैं। आप सिस्टम की क्षमताओं और प्रदर्शन को संतुलित करने के लिए मेमोरी और कंप्यूटिंग संसाधनों के बीच एक समझौता कर सकते हैं।

अन्य मशीन शिक्षण विधियों में तंत्रिका नेटवर्क और ज्ञान मॉडल को गणितीय रेखांकन माना जा सकता है। इन रेखांकन में, समानता की एक बड़ी मात्रा केंद्रित है। रेखांकन में संगामिति का उपयोग करने के लिए डिज़ाइन किया गया एक समानांतर प्रोसेसर मिनी-बैच पर निर्भर नहीं करता है और आवश्यक स्थानीय भंडारण की मात्रा को काफी कम कर सकता है।

आधुनिक शोध परिणामों से पता चला है कि ये सभी तरीके तंत्रिका नेटवर्क के प्रदर्शन में काफी सुधार कर सकते हैं। आधुनिक ग्राफिक्स और केंद्रीय प्रसंस्करण इकाइयों में बहुत सीमित आंतरिक मेमोरी है, कुल में केवल कुछ मेगाबाइट हैं। विशेष रूप से मशीन लर्निंग के लिए डिज़ाइन किए गए नए प्रोसेसर आर्किटेक्चर, मेमोरी और ऑन-चिप कंप्यूटिंग के बीच संतुलन प्रदान करते हैं, जो आधुनिक केंद्रीय प्रसंस्करण इकाइयों और ग्राफिक्स त्वरक की तुलना में प्रदर्शन और दक्षता में उल्लेखनीय वृद्धि प्रदान करते हैं।