हैशिंग का उपयोग करके तंत्रिका नेटवर्क के प्रदर्शन को गति देना

उद्योग ने मैट्रिक्स गुणन में तेजी लाने पर ध्यान केंद्रित किया है, लेकिन खोज एल्गोरिथ्म में सुधार से प्रदर्शन में अधिक गंभीर वृद्धि हो सकती है

हाल के वर्षों में, कंप्यूटर उद्योग कृत्रिम तंत्रिका नेटवर्क के लिए आवश्यक गणनाओं को गति देने में व्यस्त रहा है - प्रशिक्षण के लिए और अपने काम से निष्कर्ष निकालने के लिए। विशेष रूप से, विशेष लोहे के विकास में काफी प्रयास किया गया था, जिस पर ये गणना की जा सकती है। Google ने Tensor Processing Unit , या TPU विकसित किया, पहली बार 2016 में जनता के सामने लाया गया। एनवीडिया ने बाद में वी 100 ग्राफिक्स प्रोसेसिंग यूनिट की शुरुआत की, इसे एक चिप के रूप में वर्णित किया, जिसे विशेष रूप से एआई के प्रशिक्षण और उपयोग के लिए डिज़ाइन किया गया, साथ ही साथ अन्य उच्च-प्रदर्शन कंप्यूटिंग आवश्यकताओं के लिए। अन्य स्टार्टअप से भरा, अन्य प्रकार के हार्डवेयर त्वरक पर ध्यान केंद्रित करना।

शायद वे सभी एक बड़ी गलती करते हैं।

यह विचार काम में लिया गया था, जो मार्च के मध्य में साइट एएक्सएक्सवी में दिखाई दिया था। इसमें, इसके लेखक, बीड़ी चेन , तरुण मेदिनी और चावल विश्वविद्यालय से अंशुमाली श्रीवास्तव का तर्क है कि शायद तंत्रिका नेटवर्क के संचालन के लिए विकसित विशेष उपकरण गलत एल्गोरिदम के लिए अनुकूलित किए जा रहे हैं।

बात यह है कि तंत्रिका नेटवर्क का काम आम तौर पर इस बात पर निर्भर करता है कि उपकरण कितनी तेजी से प्रत्येक कृत्रिम न्यूट्रॉन के आउटपुट मापदंडों को निर्धारित करने के लिए उपयोग किए गए मैट्रिस का गुणन कर सकते हैं - इसके "सक्रियण" - इनपुट मानों के दिए गए सेट के लिए। मैट्रिक्स का उपयोग किया जाता है क्योंकि एक न्यूरॉन के लिए प्रत्येक इनपुट मूल्य को संबंधित वजन पैरामीटर से गुणा किया जाता है, और फिर वे सभी को अभिव्यक्त किया जाता है - और इसके साथ गुणा भी मैट्रिक्स गुणा का मूल संचालन है।

कुछ अन्य वैज्ञानिकों की तरह राइस विश्वविद्यालय के शोधकर्ताओं ने महसूस किया कि तंत्रिका नेटवर्क की एक विशेष परत में कई न्यूरॉन्स की सक्रियता बहुत छोटी है, और बाद की परतों द्वारा गणना की गई आउटपुट मूल्य को प्रभावित नहीं करती है। इसलिए, यदि आप जानते हैं कि ये न्यूरॉन्स क्या हैं, तो आप उन्हें अनदेखा कर सकते हैं।

ऐसा लग सकता है कि यह पता लगाने का एकमात्र तरीका है कि एक परत में कौन से न्यूरॉन सक्रिय नहीं हैं, पहले इस परत के लिए मैट्रिक्स गुणन के सभी संचालन करना है। लेकिन शोधकर्ताओं ने महसूस किया कि आप वास्तव में इस अधिक कुशल तरीके से निर्णय ले सकते हैं यदि आप एक अलग कोण से समस्या को देखते हैं। श्रीवास्तव कहते हैं, "हम इस समस्या को खोज समस्या के समाधान के रूप में देखते हैं।"

यही है, मैट्रिक्स गुणन की गणना करने के बजाय और यह देखने के लिए कि किसी दिए गए इनपुट के लिए कौन से न्यूरॉन सक्रिय थे, आप बस देख सकते हैं कि डेटाबेस में किस प्रकार के न्यूरॉन्स हैं। समस्या में इस दृष्टिकोण का लाभ यह है कि आप एक सामान्यीकृत रणनीति का उपयोग कर सकते हैं जो लंबे समय से कंप्यूटर वैज्ञानिकों द्वारा डेटाबेस में डेटा की खोज को तेज करने के लिए सुधार किया गया है: हैशिंग।

यदि आप किसी पंक्ति में प्रत्येक पंक्ति से जाने के बिना, डेटाबेस तालिका में कोई मान है, तो हैशिंग आपको जल्दी से जाँचने की अनुमति देता है। आप एक हैश का उपयोग आसानी से वांछित मूल्य के लिए एक हैश फ़ंक्शन को लागू करके करते हैं, यह दर्शाता है कि यह मान डेटाबेस में कहाँ संग्रहीत किया जाना चाहिए। फिर आप यह पता लगाने के लिए केवल एक जगह की जांच कर सकते हैं कि क्या यह मूल्य वहां संग्रहीत है।

शोधकर्ताओं ने तंत्रिका नेटवर्क से संबंधित गणना के लिए कुछ ऐसा ही किया। निम्नलिखित उदाहरण उनके दृष्टिकोण को दर्शाने में मदद करेंगे:

मान लीजिए कि हमने एक तंत्रिका नेटवर्क बनाया है जो संख्याओं के हस्तलिखित इनपुट को पहचानता है। मान लीजिए कि इनपुट 16x16 सरणी में ग्रे पिक्स है, यानी कुल 256 नंबर। हम इस डेटा को 512 न्यूरॉन्स की एक छिपी हुई परत को खिलाते हैं, जिसके सक्रियण परिणाम 10 न्यूरॉन्स की आउटपुट परत द्वारा खिलाया जाता है, प्रत्येक संभावित संख्याओं के लिए एक।



नेटवर्क से तालिकाओं: छिपी हुई परतों में न्यूरॉन्स की सक्रियता की गणना करने से पहले, हम यह निर्धारित करने में मदद करने के लिए हैश का उपयोग करते हैं कि कौन से न्यूरॉन सक्रिय होंगे। यहाँ, इनपुट मान H1 का हैश पहली छिपी परत में संबंधित न्यूरॉन्स की खोज करने के लिए उपयोग किया जाता है - इस मामले में यह न्यूरॉन्स 2 और 4 होगा। दूसरा हैश H2 दर्शाता है कि दूसरी छिपी परत से कौन से न्यूरॉन योगदान देंगे। इस तरह की रणनीति उन गतिविधियों की संख्या को कम करती है जिनकी गणना करने की आवश्यकता है।

इस तरह के नेटवर्क को प्रशिक्षित करना काफी मुश्किल है, लेकिन अभी के लिए इस क्षण को छोड़ दें और कल्पना करें कि हमने पहले से ही प्रत्येक न्यूरॉन के सभी वजन को समायोजित कर लिया है ताकि तंत्रिका नेटवर्क हस्तलिखित संख्याओं को पूरी तरह से पहचान सके। जब एक कानूनी रूप से लिखित संख्या उसके इनपुट पर आती है, तो आउटपुट न्यूरॉन्स में से एक की सक्रियता (इस संख्या के अनुसार) 1 के करीब होगी। शेष नौ की सक्रियता 0. के करीब होगी। ऐसे नेटवर्क के संचालन में 512 छिपे हुए न्यूरॉन्स में से प्रत्येक के लिए एक मैट्रिक्स गुणा की आवश्यकता होती है। और प्रत्येक सप्ताहांत के लिए एक और - जो हमें कई गुणा देता है।

शोधकर्ता एक अलग दृष्टिकोण लेते हैं। पहला कदम "स्थानीयता संवेदनशील हैशिंग" का उपयोग करके छिपी हुई परत में 512 न्यूरॉन्स में से प्रत्येक के वजन को हैश करना है, जिनमें से एक गुण यह है कि समान इनपुट डेटा समान हैश मान देते हैं। आप फिर समान हैश के साथ न्यूरॉन्स को समूह कर सकते हैं, जिसका अर्थ होगा कि इन न्यूरॉन्स में वजन के समान सेट होते हैं। प्रत्येक समूह को एक डेटाबेस में संग्रहीत किया जा सकता है, और इनपुट मानों के हैश द्वारा निर्धारित किया जाता है जो न्यूरॉन्स के इस समूह की सक्रियता को बढ़ावा देगा।

यह सब हैशिंग के बाद, यह निर्धारित करना आसान हो जाता है कि कौन से छिपे हुए न्यूरॉन्स को कुछ नए इनपुट द्वारा सक्रिय किया जाएगा। आपको आसानी से गणना किए गए हैश फ़ंक्शन के माध्यम से 256 इनपुट मान चलाने की आवश्यकता है, और उन न्यूरॉन्स के लिए डेटाबेस को खोजने के लिए परिणाम का उपयोग करें जो सक्रिय हो जाएंगे। इस तरह, आपको केवल कुछ न्यूरॉन्स के लिए सक्रियण मानों की गणना करनी होगी जो मायने रखते हैं। परत में अन्य सभी न्यूरॉन्स की सक्रियता की गणना करना आवश्यक नहीं है केवल यह पता लगाने के लिए कि वे परिणाम में योगदान नहीं करते हैं।

डेटा के ऐसे तंत्रिका नेटवर्क के इनपुट को एक खोज क्वेरी के डेटाबेस के निष्पादन के रूप में दर्शाया जा सकता है जो सभी न्यूरॉन्स को खोजने के लिए कहता है जो प्रत्यक्ष गिनती द्वारा सक्रिय किया जाएगा। आपको उत्तर जल्दी मिल जाता है क्योंकि आप खोज करने के लिए हैश का उपयोग करते हैं। और फिर आप बस एक छोटी संख्या में न्यूरॉन्स की सक्रियता की गणना कर सकते हैं जो वास्तव में मायने रखते हैं।

शोधकर्ताओं ने इस तकनीक का उपयोग किया है, जिसे उन्होंने SLIDE (सब-लेयर डीप लर्निंग इंजन) कहा है, एक तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए - एक प्रक्रिया के लिए जो इसके इच्छित उद्देश्य से अधिक कम्प्यूटेशनल अनुरोध करता है। फिर उन्होंने एक शक्तिशाली जीपीयू का उपयोग करके अधिक पारंपरिक दृष्टिकोण के साथ लर्निंग एल्गोरिदम के प्रदर्शन की तुलना की - विशेष रूप से, एनवीडिया वी 100 जीपीयू। नतीजतन, उन्हें कुछ अद्भुत मिला: "हमारे परिणाम बताते हैं कि औसत CPU SLIDE तकनीक सर्वोत्तम संभव विकल्पों की तुलना में तेजी से परिमाण के आदेशों को काम कर सकती है, सर्वोत्तम उपकरणों पर और किसी भी सटीकता के साथ कार्यान्वित की जाती है।"

इन नतीजों के बारे में निष्कर्ष निकालना बहुत जल्दबाजी होगी कि क्या इन परिणामों (जिनका विशेषज्ञों ने अभी तक मूल्यांकन नहीं किया है) परीक्षणों का सामना करेंगे और क्या वे चिप निर्माताओं को गहरी शिक्षा के लिए विशेष उपकरणों के विकास पर एक अलग नज़र डालने के लिए मजबूर करेंगे। लेकिन काम निश्चित रूप से उन मामलों में एक निश्चित प्रकार के लोहे के प्रवेश के खतरे पर जोर देता है जहां तंत्रिका नेटवर्क के संचालन के लिए एक नए और बेहतर एल्गोरिथ्म की संभावना है।