वैज्ञानिक मोबाइल प्लेटफार्मों पर उपयोग के लिए तंत्रिका नेटवर्क की ऊर्जा खपत को कम करने की एक विधि के साथ आते हैं

स्वायत्त ड्राइविंग, भाषण मान्यता, मशीन दृष्टि और स्वचालित अनुवाद के क्षेत्र में कृत्रिम खुफिया प्रणालियों के हाल के वर्षों में सफलता को कृत्रिम तंत्रिका नेटवर्क के विकास के लिए संभव धन्यवाद किया गया है। लेकिन उनके प्रक्षेपण और प्रशिक्षण के लिए, स्मृति और ऊर्जा की बहुत आवश्यकता होती है। इसलिए, अक्सर एआई घटक क्लाउड में सर्वर पर काम करते हैं और डेस्कटॉप या मोबाइल उपकरणों के साथ डेटा का आदान-प्रदान करते हैं।

तंत्रिका नेटवर्क में हजारों सरल लेकिन बारीकी से जुड़े सूचना प्रसंस्करण नोड्स होते हैं, जो आमतौर पर परतों में व्यवस्थित होते हैं। तंत्रिका नेटवर्क परतों की संख्या में भिन्न होते हैं, प्रत्येक परत में नोड्स और नोड्स के बीच कनेक्शन।

नोड्स के बीच कनेक्शन वज़न से जुड़े होते हैं, जो निर्धारित करते हैं कि नोड का आउटपुट अगले नोड की गणना की सुविधा प्रदान करेगा। प्रशिक्षण के दौरान, जिसमें नेटवर्क को गणना के उदाहरणों के साथ प्रस्तुत किया जाता है जिसे वे प्रदर्शन करना सीखते हैं, ये भार लगातार समायोजित किए जाते हैं जब तक कि नेटवर्क की अंतिम परत गणना के परिणाम से मेल नहीं खाती।

कौन सा नेटवर्क अधिक ऊर्जा कुशल होगा? कम वजन के साथ बड़े वज़न के साथ उथला नेट या गहरा जाल? कई शोधकर्ताओं ने इन सवालों के जवाब देने की कोशिश की है। हाल ही में, गहरी सीखने वाले समुदाय में मुख्य गतिविधि का उद्देश्य सीमित कंप्यूटिंग क्षमताओं वाले प्लेटफार्मों के लिए प्रभावी तंत्रिका नेटवर्क आर्किटेक्चर विकसित करना है। हालांकि, इन अध्ययनों में से अधिकांश ने या तो मॉडल या कंप्यूटिंग के आकार को कम करने पर ध्यान केंद्रित किया है, जबकि स्मार्टफोन और कई अन्य उपकरणों के लिए, बैटरी के उपयोग और गर्मी पैकेट पर प्रतिबंध के कारण ऊर्जा की खपत सबसे अधिक महत्वपूर्ण है।

मैसाचुसेट्स इंस्टीट्यूट ऑफ टेक्नोलॉजी (MIT) के शोधकर्ताओं, इलेक्ट्रिकल इंजीनियरिंग और कंप्यूटर विज्ञान विभाग के एसोसिएट प्रोफेसर, विविएन सेज़ के नेतृत्व में, ने एक नए दृष्टिकोण का विकास किया है, जो कि अनुमानात्मक तंत्रिका नेटवर्क को अनुकूलित करता है जो ऊर्जा की खपत का आकलन करने के लिए एक नए उपकरण का उपयोग करके ऊर्जा की खपत को कम करने पर केंद्रित है।

2016 में, विविएन सीई और उनके सहयोगियों ने तंत्रिका नेटवर्क के लिए अनुकूलित एक नई ऊर्जा-कुशल कंप्यूटर चिप पेश की। यह चिप शक्तिशाली एआई सिस्टम को मोबाइल उपकरणों पर स्थानीय रूप से काम करने की अनुमति देता है। अब, वैज्ञानिकों ने एक अलग दृष्टिकोण से समस्या का सामना किया और अधिक ऊर्जा कुशल तंत्रिका नेटवर्क विकसित करने के लिए कई तकनीकों का निर्माण किया।

सबसे पहले, अनुसंधान दल ने एक विश्लेषणात्मक विधि विकसित की, जिसके साथ आप यह निर्धारित कर सकते हैं कि एक निश्चित प्रकार के हार्डवेयर पर काम करते समय एक तंत्रिका नेटवर्क कितनी ऊर्जा खर्च करता है। फिर, वैज्ञानिकों ने तंत्रिका नेटवर्क के अनुकूलन के लिए नई तकनीकों का मूल्यांकन करने के लिए विधि का उपयोग किया ताकि वे हाथ में उपकरणों पर अधिक कुशलता से काम कर सकें।

कंप्यूटर विज़न और पैटर्न मान्यता सम्मेलन में शोधकर्ता अपना काम प्रस्तुत करेंगे। दस्तावेज़ में, वे ऐसे तरीके पेश करते हैं जो उनके अनुसार, तंत्रिका नेटवर्क के मानक कार्यान्वयन की तुलना में ऊर्जा खपत को 73% कम करते हैं और मोबाइल प्लेटफार्मों के लिए तंत्रिका नेटवर्क के अनुकूलन के लिए मौजूदा तरीकों से 43% से अधिक है।

पहली बात यह है कि सी की अगुवाई में वैज्ञानिकों की एक टीम ने एक ऊर्जा मॉडलिंग उपकरण विकसित किया था जो लेनदेन, आंदोलनों और डेटा प्रवाह को ध्यान में रखता है। यदि आप उसे नेटवर्क आर्किटेक्चर और उसके वजन के मूल्य प्रदान करते हैं, तो वह आपको बताएगा कि यह तंत्रिका नेटवर्क कितनी ऊर्जा का उपयोग करेगा। विकसित तकनीक इस बात का अंदाजा लगाती है कि ऊर्जा किस पर खर्च की जाती है, ताकि एल्गोरिथ्म डेवलपर्स इस जानकारी को एक तरह की प्रतिक्रिया के रूप में बेहतर समझ और उपयोग कर सकें।

जब शोधकर्ताओं को पता चला कि ऊर्जा किस क्रिया पर खर्च की जाती है, तो उन्होंने ऊर्जा-कुशल तंत्रिका नेटवर्क के डिजाइनर को नियंत्रित करने के लिए इस मॉडल का उपयोग किया। सी बताते हैं कि इससे पहले, तंत्रिका नेटवर्क की बिजली की खपत को कम करने की कोशिश कर रहे अन्य वैज्ञानिकों ने प्रूनिंग विधि का इस्तेमाल किया था। नोड्स के बीच कम वजन के साथ संबंध तंत्रिका नेटवर्क के अंतिम परिणाम पर बहुत कम प्रभाव डालते हैं, इसलिए उनमें से कई को सुरक्षित रूप से समाप्त किया जा सकता है, "कट ऑफ"।

नए मॉडल की मदद से, सी और उसके सहयोगियों ने इस दृष्टिकोण को अंतिम रूप दिया। हालांकि कम वजन के साथ बड़ी संख्या में यौगिकों को ट्रिम करना तंत्रिका नेटवर्क के आउटपुट को महत्वपूर्ण रूप से प्रभावित नहीं करता है, ऐसे सभी यौगिकों की कमी का संभवतः इसके संचालन पर अधिक गंभीर प्रभाव पड़ेगा। इसलिए, एक तंत्र विकसित करना आवश्यक था जो यह निर्धारित करने में मदद करेगा कि कब रोकना है। इस प्रकार, एमआईटी के वैज्ञानिकों ने नेटवर्क की उन परतों को काट दिया जो अधिक ऊर्जा की खपत करते हैं, जिससे अधिकतम संभव बचत होती है। वैज्ञानिक स्वयं इस पद्धति को ऊर्जा-बचत करने वाले प्रूनिंग कहते हैं।

तंत्रिका नेटवर्क में वजन सकारात्मक और नकारात्मक दोनों हो सकते हैं, इसलिए, शोधकर्ताओं की विधि उन मामलों पर भी विचार करती है जहां विपरीत संकेत के वजन के साथ संबंध पारस्परिक कमी के लिए पूर्व निर्धारित हैं। इस नोड के इनपुट्स अंतर्निहित परत में नोड्स के आउटपुट हैं, उनके कनेक्शन के भार से गुणा किया जाता है। हम कह सकते हैं कि मैसाचुसेट्स के वैज्ञानिकों का तरीका न केवल वज़न पर विचार करता है, बल्कि यह भी जुड़ा हुआ है कि प्रशिक्षण के दौरान जुड़े नोड्स डेटा को कैसे संसाधित करते हैं।

यदि सकारात्मक और नकारात्मक भार वाले यौगिकों के समूह क्रमिक रूप से ऑफसेट होते हैं, तो उन्हें सुरक्षित रूप से काटा जा सकता है। शोधकर्ताओं के अनुसार, यह पहले से उपयोग किए गए क्रॉपिंग विधियों की तुलना में कम कनेक्शन वाले अधिक कुशल नेटवर्क के निर्माण की ओर ले जाता है।