नया एल्गोरिदम तंत्रिका नेटवर्क के स्वचालित डिजाइन को 200 गुना तेज करता है

ProxylessNAS सीधे एक विशिष्ट कार्य और उपकरणों के लिए तंत्रिका नेटवर्क की वास्तुकला का अनुकूलन करता है, जो पिछले प्रॉक्सी दृष्टिकोणों की तुलना में उत्पादकता में काफी वृद्धि कर सकता है। ImageNet डेटासेट पर, एक तंत्रिका नेटवर्क 200 GPU घंटे (अपने समकक्षों की तुलना में 200-378 गुना तेज) में डिज़ाइन किया गया है, और मोबाइल उपकरणों के लिए स्वचालित रूप से डिज़ाइन किया गया CNN मॉडल MobileNetV2 1.4 के समान सटीकता तक पहुंचता है, 1.8% से अधिक तेजी से काम कर रहा है।

मैसाचुसेट्स इंस्टीट्यूट ऑफ टेक्नोलॉजी के शोधकर्ताओं ने विशिष्ट हार्डवेयर के लिए उच्च प्रदर्शन वाले तंत्रिका नेटवर्क के स्वचालित डिजाइन के लिए एक कुशल एल्गोरिदम विकसित किया है, जो प्रकाशन एमआईटी न्यूज लिखता है ।

मशीन लर्निंग सिस्टम के स्वचालित डिजाइन के लिए एल्गोरिदम एआई के क्षेत्र में अनुसंधान का एक नया क्षेत्र है। इस तकनीक को तंत्रिका वास्तुकला खोज (NAS) कहा जाता है और इसे एक कठिन कम्प्यूटेशनल कार्य माना जाता है।

स्वचालित रूप से तैयार किए गए तंत्रिका नेटवर्क में मनुष्यों द्वारा विकसित लोगों की तुलना में अधिक सटीक और कुशल डिजाइन है। लेकिन तंत्रिका वास्तुकला की खोज के लिए वास्तव में बहुत बड़ी गणना की आवश्यकता होती है। उदाहरण के लिए, हाल ही में Google द्वारा GPU पर चलने के लिए विकसित किया गया आधुनिक NASNet-F अल्गोरिद्म, एक सजा हुआ तंत्रिका नेटवर्क बनाने के लिए 48,000 घंटे का GPU कंप्यूटिंग लेता है, जिसका उपयोग छवियों को वर्गीकृत करने और उनका पता लगाने के लिए किया जाता है। बेशक, Google समानांतर में सैकड़ों GPU और अन्य विशेष हार्डवेयर चला सकता है। उदाहरण के लिए, एक हजार GPU पर इस गणना में केवल दो दिन लगेंगे। लेकिन सभी शोधकर्ताओं के पास ऐसे अवसर नहीं हैं, और यदि आप Google कंप्यूटिंग क्लाउड में एल्गोरिथ्म चलाते हैं, तो यह एक सुंदर पैसा उड़ सकता है।

MIT के शोधकर्ताओं ने लर्निंग रिप्रेजेंटेशन, ICLR 2019 पर अंतर्राष्ट्रीय सम्मेलन के लिए एक लेख तैयार किया है, जो 6 से 9 मई, 2019 तक आयोजित किया जाएगा। ProxylessNAS: Direct Neural Architecture Search on Target टास्क और हार्डवेयर ProxylessNAS एल्गोरिथ्म का वर्णन करता है जो विशिष्ट हार्डवेयर प्लेटफ़ॉर्म के लिए विशेष रूप से विशिष्ट तंत्रिका नेटवर्क का विकास कर सकता है।

जब छवि डेटा के एक विशाल सेट पर चलाया जाता है, तो एल्गोरिथ्म ने केवल 200 घंटे के जीपीयू ऑपरेशन में इष्टतम वास्तुकला का डिजाइन किया। यह अन्य एल्गोरिदम (तालिका देखें) का उपयोग करते हुए सीएनएन वास्तुकला के विकास की तुलना में तेजी से परिमाण के दो आदेश हैं।



एल्गोरिदम से सीमित संसाधनों वाले शोधकर्ताओं और कंपनियों को फायदा होगा। MIT के माइक्रोसिस्टम्स टेक्नोलॉजी लेबोरेटरीज में इलेक्ट्रिकल इंजीनियरिंग और कंप्यूटर साइंस के सहायक प्रोफेसर, गीतकार सांग हान कहते हैं, "सामान्य रूप से एआई को डेमोक्रेटाइज करना" एक सामान्य लक्ष्य है।

खान ने कहा कि ऐसे एनएएस एल्गोरिदम कभी भी इंजीनियरों के बौद्धिक कार्य को प्रतिस्थापित नहीं करेंगे: "लक्ष्य दोहराए जाने वाले और थकाऊ काम को रोकना है जो डिजाइन और तंत्रिका नेटवर्क की वास्तुकला में सुधार के साथ आता है।"

अपने काम में, शोधकर्ताओं ने तंत्रिका नेटवर्क के अनावश्यक घटकों को हटाने, कम्प्यूटेशनल समय को कम करने और एनएएस एल्गोरिथ्म को चलाने के लिए हार्डवेयर मेमोरी के केवल भाग का उपयोग करने के तरीके ढूंढे। यह सुनिश्चित करता है कि विशिष्ट हार्डवेयर प्लेटफॉर्म: सीपीयू, जीपीयू और मोबाइल उपकरणों पर सीएनएन विकसित अधिक कुशलता से काम करता है।

CNN आर्किटेक्चर में "फ़िल्टर" और उनके बीच संभावित संबंधों नामक समायोज्य मापदंडों की परतें होती हैं। फ़िल्टर्स इमेज पिक्सल्स को स्क्वायर ग्रिड्स में प्रोसेस करते हैं - जैसे कि 3 × 3, 5 × 5 या 7 × 7 - जहाँ प्रत्येक फ़िल्टर एक वर्ग को कवर करता है। वास्तव में, फिल्टर छवि के चारों ओर घूमते हैं और पिक्सेल ग्रिड के रंगों को एक पिक्सेल में संयोजित करते हैं। अलग-अलग परतों में, फिल्टर विभिन्न आकारों के होते हैं, जो डेटा का आदान-प्रदान करने के लिए अलग-अलग तरीकों से जुड़े होते हैं। सीएनएन आउटपुट सभी फिल्टर से संयुक्त एक संपीड़ित छवि का उत्पादन करता है। चूंकि संभावित आर्किटेक्चर की संख्या - तथाकथित "खोज स्थान" - बहुत बड़ी है, छवि डेटा के बड़े पैमाने पर एक तंत्रिका नेटवर्क बनाने के लिए एनएएस के उपयोग के लिए विशाल संसाधनों की आवश्यकता होती है। आमतौर पर, डेवलपर NAS को छोटे डेटा सेट (परदे के पीछे) पर चलाते हैं और परिणामी CNN आर्किटेक्चर को लक्ष्य पर स्थानांतरित करते हैं। हालांकि, यह विधि मॉडल की सटीकता को कम करती है। इसके अलावा, एक ही आर्किटेक्चर सभी हार्डवेयर प्लेटफार्मों पर लागू होता है, जिसके परिणामस्वरूप प्रदर्शन समस्याएं होती हैं।

एमआईटी शोधकर्ताओं ने इमेजनेट डेटासेट में सीधे छवियों को वर्गीकृत करने के कार्य पर नए एल्गोरिथम को प्रशिक्षित और परीक्षण किया, जिसमें एक हजार कक्षाओं में लाखों छवियां शामिल हैं। सबसे पहले, उन्होंने एक खोज स्थान बनाया जिसमें सीएनएन उम्मीदवारों के लिए सभी संभव "पथ" शामिल हैं ताकि एल्गोरिथ्म उनके बीच इष्टतम वास्तुकला का पता लगा सके। जीपीयू की मेमोरी में खोज स्थान को फिट करने के लिए, उन्होंने एक विधि का उपयोग किया, जिसका नाम है पथ-स्तर का बानरीकरण, जो एक समय में केवल एक ही पथ बचाता है और परिमाण के क्रम से स्मृति को बचाता है। बिनराइजेशन को पथ-स्तरीय प्रूनिंग के साथ जोड़ा जाता है, एक विधि जो पारंपरिक रूप से अध्ययन करती है जो तंत्रिका नेटवर्क में न्यूरॉन्स को सिस्टम को नुकसान पहुंचाए बिना सुरक्षित रूप से हटा सकती है। केवल न्यूरॉन्स को हटाने के बजाय, एनएएस एल्गोरिथ्म पूरे रास्ते को हटा देता है, पूरी तरह से वास्तुकला को बदल रहा है।

अंत में, एल्गोरिथ्म सभी असंभावित रास्तों को काट देता है और उच्चतम संभावना वाले केवल पथ को बचाता है - यह परम सीएनएन वास्तुकला है।

चित्रण उन छवियों को वर्गीकृत करने के लिए तंत्रिका नेटवर्क के नमूने दिखाता है जो ProxylessNAS ने GPU, CPU और मोबाइल प्रोसेसर (क्रमशः ऊपर से नीचे) के लिए विकसित किए हैं।