PuzzleLib न्यूरल नेटवर्क्स के लिए एल्ब्रस प्लेटफॉर्म लॉन्च करना

घरेलू लोहे पर ए.आई.

हम बात करते हैं कि कैसे हमने तंत्रिका नेटवर्क के लिए अपने ढांचे को चित्रित किया और रूसी एलब्रस प्रोसेसर के लिए मान्यता प्रणाली का सामना किया।



यह एक दिलचस्प काम था, 2019 के वसंत में हमने एल्ब्रस के बारे में बड़ी बैठक में यैंडेक्स कार्यालय में इसके बारे में बात की, अब हम हेबर के साथ साझा कर रहे हैं।

संक्षेप में - एल्ब्रस क्या है

यह एक रूसी प्रोसेसर है जिसकी अपनी वास्तुकला है, जिसे MCST में विकसित किया गया है। मैक्सिम गोर्सेनिन अपने चैनल पर उनके बारे में अच्छी तरह से बात करते हैं: www.youtube.com/watch?v=H8eBgJ58EPY

संक्षेप में - पहेलीलीब क्या है

यह तंत्रिका नेटवर्क के लिए हमारा मंच है, जिसे हम 2015 से विकसित और उपयोग कर रहे हैं। Google TensorFlow और Facebook PyTorch का एनालॉग। दिलचस्प बात यह है कि, PuzzleLib न केवल NVIDIA और इंटेल प्रोसेसर का समर्थन करता है, बल्कि AMD वीडियो कार्ड भी है।

यद्यपि हमारे पास एक छोटी सी लाइब्रेरी है (TensorFlow में लगभग 2 मिलियन लाइनें हैं, हमारे पास 100 हजार हैं), हम गति में बेहतर हैं - थोड़ा, लेकिन बेहतर =)

हम अभी तक खुले स्रोत में नहीं हैं, पुस्तकालय का उपयोग हमारी परियोजनाओं के लिए किया जाता है। पुस्तकालय पूर्ण है: यह दोनों प्रशिक्षण चरण और तंत्रिका नेटवर्क के इंजेक्शन चरण का समर्थन करता है। आप आवर्तक, दृढ़ तंत्रिका नेटवर्क का निर्माण कर सकते हैं, गणना के मनमाने रेखांकन बनाने के लिए एक इंटरफ़ेस भी है।

PuzzleLib है

• तंत्रिका नेटवर्क (सक्रियण (सिग्मॉइड, तन, रेयू, एलयू, लीकेरेउलू, सॉफ्टमैक्सप्लस), एक्सप्रेसपूल (1 डी, 2 डी, 3 डी), बैचनॉर्म (1 डी, 2 डी, 3 डी, एनडी), कन्वेंशन (1 डी, 2 डी, 3 डी, एनडी) को जोड़ने के लिए मॉड्यूल , CrossMapLRN, Deconv (1D, 2D, 3D, ND), ड्रॉपआउट (1D, 2D), आदि)
• ऑप्टिमाइज़र (AdaDelta, AdaGrad, Adam, Hooks, LBFGS, MomentumSGD, NesterovSGD, RMSProp, आदि)
• रेडी-टू-यूज़ न्यूरल नेटवर्क (Resnet, Inception, YOLO, U-Net, आदि)

ये तंत्रिका नेटवर्क में शामिल उन सभी लोगों के लिए परिचित हैं, तंत्रिका नेटवर्क डिजाइनरों के लिए ब्लॉक हैं (क्योंकि किसी भी ढांचे में विशिष्ट कंप्यूटिंग ब्लॉकों और एल्गोरिदम से मिलकर निर्माणकर्ता हैं)।

हमें एल्ब्रस वास्तुकला पर अपनी लाइब्रेरी लॉन्च करने का विचार था।

हम एल्ब्रस का समर्थन क्यों करना चाहते थे?

1. यह एकमात्र रूसी प्रोसेसर है, मैं यह समझना चाहता था कि चीजें इसके साथ कैसे चल रही हैं, इसके साथ काम करना कितना आसान है।
2. हमने सोचा था कि यह राज्य संगठनों के लिए दिलचस्प हो सकता है कि रूसी सॉफ्टवेयर जो हम रूसी हार्डवेयर पर काम कर रहे हैं।
3. और निश्चित रूप से, हम बस दिलचस्पी रखते थे, क्योंकि एल्ब्रस एक वीएलआईडब्ल्यू प्रोसेसर है , जो कि लंबे निर्देशों के साथ एक प्रोसेसर है, और दुनिया में इस तरह के पूर्ण-सामान्य, सामान्य प्रयोजन के प्रोसेसर नहीं हैं।

यह सब इस तथ्य से शुरू हुआ कि हम MCST के साथ मिले, बात की और विकास के लिए एल्ब्रस 401 कंप्यूटर को उधार दिया।

मुझे क्या पसंद आया : लिनक्स एल्ब्रस पर चलता है, इस लिनक्स में अजगर है, और यह एमुलेशन मोड में काम नहीं करता है - यह एक पूर्ण विकसित, देशी अजगर है, जो एल्ब्रस के लिए इकट्ठा किया गया है। मानक अजगर पुस्तकालयों का एक बंडल भी है, उदाहरण के लिए, सुन्न, जिसे सभी डेवलपर्स बहुत पसंद करते हैं।

कुछ कार्य थे जिनके लिए हमें अतिरिक्त रूप से पुस्तकालयों को इकट्ठा करना था: उदाहरण के लिए, PuzzleLib में हम तंत्रिका नेटवर्क के वजन को संग्रहीत करने के लिए एचडीएफ प्रारूप का उपयोग करते हैं, और, तदनुसार, हमें lcc संकलक का उपयोग करके libhdf और h5py पुस्तकालयों का निर्माण करना था। लेकिन हमें विधानसभा की कोई समस्या नहीं थी।

OpenCV कंप्यूटर दृष्टि पुस्तकालय भी पहले से ही संकलित किया गया था, लेकिन इसके लिए अजगर के लिए कोई बंधन नहीं था - हमने इसे अलग से बनाया।

प्रसिद्ध dlib पुस्तकालय भी संकलन के लिए बहुत आसान है। केवल छोटी-मोटी कठिनाइयाँ थीं: इस ओपन सोर्स प्रोजेक्ट की कुछ फाइलें utf-8 के निर्धारण के लिए बम-मार्कर के बिना थीं, जो कि lcc lexer को परेशान करती हैं। दरअसल, बस एक गलत फ़ाइल प्रारूप था, जिसे स्रोत में सुधारना था।

हमने पहले फेस रिकग्निशन शुरू करने का फैसला किया। यह कई लोगों के लिए एक समझने योग्य उपयोग का मामला है, जहां इस तकनीक का उपयोग किया जाता है। अन्य पुस्तकालयों की तरह, पहेली लाइब का एक बड़ा बैकएंड हिस्सा है, जो कि कोड प्रोसेसर है जो विभिन्न प्रोसेसर आर्किटेक्चर के लिए विशिष्ट है।

हमारे बैकएंड:

• CUDA (NVIDIA)
• ओपन सीएल + एमआई ओपन (एएमडी)
• mlkDNN (इंटेल)
• CPU (संख्यात्मक)

एल्ब्रस पर, हमने एक खतना बैकएंड लॉन्च किया, जो बहुत सरल था, क्योंकि प्लेटफ़ॉर्म को हर चीज़ की न्यूनतम आवश्यकता होती है:

मंच -> c90 संकलक -> अजगर -> सुन्न

हमारे पास बिना किसी जटिल कारकों के एक पुस्तकालय है (उदाहरण के लिए, बिना किसी विशेष विधानसभा प्रणाली के) - इस तथ्य के अतिरिक्त कि हमें कुछ विशेष संग्रह करने की आवश्यकता थी। हमने परीक्षण चलाए, सब कुछ काम करता है - दोनों दृढ़ ग्रिड और आवर्तक। फेस रिकग्निशन जो हमने लॉन्च किया है वह इनसेप्शन-रेसनेट पर आधारित बहुत सरल है।

काम के पहले परिणाम

इंटेल कोर i7 7700 पर, एक छवि के लिए प्रसंस्करण समय 0.1 सेकंड था, और यहां - 15. यह अनुकूलन करने के लिए आवश्यक था।

बेशक, उम्मीद है कि सुन्न मक्खी पर अच्छा काम करेगा गलत होगा।

हमने कंप्यूटिंग को कैसे अनुकूलित किया

हमने पायथन प्रोफाइलर के माध्यम से अनुमान गति को मापा और पता चला कि लगभग सभी समय खस्ता में मैट्रिसेस को गुणा करना था। नमूने के लिए, उन्होंने मैट्रिक्स का सबसे सरल, मैनुअल गुणन लिखा और यह पहले से ही तेज हो गया, हालांकि यह स्पष्ट नहीं था कि क्यों।

ऐसा लगता है कि numpy.dot को इस तरह के एक साधारण गुणा से थोड़ा कम भोला लिखा जाना चाहिए था। फिर भी, हमने आश्वस्त किया, जाँच की - यह तेजी से निकला (15 के बजाय प्रति फ्रेम 12 सेकंड)।

इसके बाद, हमने रैखिक बीजगणित पुस्तकालय ईएमएल के बारे में सीखा, जिसे आईसीएसटी में विकसित किया जा रहा है, और np.dot कॉल को cblas_sgemm से बदल दिया गया है। यह 10 गुना तेज (1.5 सेकंड) हो गया - हम बहुत प्रसन्न थे।

इसके बाद कई चरण-दर-चरण अनुकूलन किए गए। चूंकि हम केवल चेहरे की पहचान को चलाते हैं, और आम तौर पर मनमाने ढंग से डेटा को नहीं चलाते हैं, इसलिए हमने अपने ऑपरेशन को केवल 4d टेनर्स के तहत तेज करने और फ्यूजन बनाने का फैसला किया - जिसके बाद प्रसंस्करण समय 2 गुना - 0.75 सेकंड तक कम हो गया।

स्पष्टीकरण: संलयन तब होता है जब कई ऑपरेशनों को एक में जोड़ दिया जाता है, उदाहरण के लिए, दृढ़ संकल्प, सामान्यीकरण और सक्रियण। तीन चक्रों में एक पास बनाने के बजाय, एक पास किया जाता है।

इस तरह के पुस्तकालय NVIDIA ( TensorRT ) से उपलब्ध हैं। एक कम्प्यूटेशनल ग्राफ को इसमें लोड किया गया है, और लाइब्रेरी एक अनुकूलित, त्वरित ग्राफ़ का उत्पादन करती है, विशेष रूप से इस तथ्य के कारण कि यह एक में संचालन को ध्वस्त कर सकता है। इंटेल में भी एक समान (nGraph और OpenVINO ) है।

तब हमने देखा कि चूंकि रिसेप्शन-रेसनेट में बहुत सारे 1x1 कॉन्फोल्यूशन थे, इसलिए हमारे पास अतिरिक्त डेटा कॉपी था। हमने इस तथ्य के विशेषज्ञ होने का फैसला किया कि हम 1 फोटो से बैचों पर काम करते हैं (यानी, बैचों में 100 तस्वीरों को संसाधित नहीं करते हैं, लेकिन स्ट्रीमिंग मोड प्रदान करते हैं) - ऐसे उपयोग के मामले हैं जब आपको अभिलेखागार के साथ काम करने की आवश्यकता नहीं होती है, लेकिन एक धारा के साथ (उदाहरण के लिए, वीडियो निगरानी के लिए या एसीएस)। हमने im2col के बिना एक विशेष मार्ग बनाया (बड़ी प्रतियों को हटा दिया) - यह 0.45 सेकंड हो गया।

फिर हमने प्रोफाइलर को फिर से देखा, हमारे पास सब कुछ उसी तरह था - हालांकि सभी चरण समय के साथ सिकुड़ गए, हम अभी भी समय का 80% सजा इंजेक्शन की गणना पर खर्च करते हैं।
हमें एहसास हुआ कि हमें जेम (सामान्य मैट्रिक्स गुणा) को समानांतर करने की आवश्यकता है। वह रत्न, जो ईएमएल में, एकल-पिरोया गया था। तदनुसार, हमें स्वयं बहु-थ्रेडेड रत्न लिखना होगा। विचार यह है: एक बड़ी मैट्रिक्स को सबब्लॉक में विभाजित किया जाता है, और फिर इन छोटे मैट्रिसेस का गुणा होता है। हमने ओपनएमपी के साथ एक रत्न लिखा था, लेकिन यह काम नहीं किया, त्रुटियां दुर्घटनाग्रस्त हो गईं। हमने थ्रेड्स का एक मैनुअल पूल लिया, समानांतरकरण ने प्रति फ्रेम 0.33 सेकंड दिए।

इसके बाद, हमें एल्ब्रस 8 सी के साथ एक अधिक शक्तिशाली सर्वर को रिमोट एक्सेस दिया गया, जिसकी गति प्रति फ्रेम 0.2 सेकंड तक बढ़ गई।

निम्नलिखित वीडियो एक एल्ब्रस 4C प्रोसेसर के साथ एल्ब्रस 401-पीसी कंप्यूटर पर चेहरे की पहचान के साथ डेमो स्टैंड का काम दिखाता है:

निष्कर्ष और भविष्य की योजनाएं

• हम न केवल पहचान का सामना करने के लिए काम करते हैं, बल्कि सिद्धांत रूप में एक तंत्रिका नेटवर्क फ्रेमवर्क है, इसलिए हम किसी भी डिटेक्टर, क्लासिफायर को इकट्ठा कर सकते हैं और उन्हें मलबे पर चला सकते हैं।
• हमने PuzzleLib पर चेहरा पहचानने के लिए वेब-यूआई के साथ एक डेमो स्टैंड इकट्ठा किया है।
  
• एल्ब्रस पर चेहरे की पहचान व्यावहारिक कार्यों के लिए पहले से ही काफी तेज है, फिर यदि आवश्यक हो तो आप इसे गति दे सकते हैं।
• आप एल्ब्रस के साथ काम कर सकते हैं। हम विदेशी प्रोसेसर के साथ काम करते थे - उदाहरण के लिए, दसियों रूसी प्रोसेसर के साथ जो अभी भी विकसित हो रहे हैं, एएमडी वीडियो कार्ड और उनके सॉफ्टवेयर के साथ। वहां सब कुछ इतना अच्छा और सरल नहीं है। यही है, अगर हम एमएम ओपन लाइब्रेरी को एएमडी से लेते हैं, तो यह एक बहुत ही खराब लिखित लाइब्रेरी है जिसमें स्ट्राइड्स, पैडिंग और फिल्टर साइज के सभी संयोजन सफल गणना की ओर नहीं ले जाते हैं। एल्ब्रस से उपकरणों की गुणवत्ता अच्छी है - यदि आपके पास पायथन, सी या सी ++ में एक परियोजना है, तो इसे एल्ब्रस पर चलाना बिल्कुल भी मुश्किल नहीं है।
• यह भी ध्यान देने योग्य है कि हमने जिस चरण-दर-चरण अनुकूलन के बारे में बात की थी, वह एल्ब्रस में काम करने के लिए विशिष्ट संचालन नहीं है। ये मानक मल्टी-कोर प्रोसेसर संचालन हैं। हमारी राय में, यह एक अच्छा संकेत है कि प्रोसेसर को इंटेल / एनवीआईडीआईए से नियमित प्रोसेसर के रूप में संचालित किया जा सकता है।
  

योजनाओं:

• चूंकि एलब्रस की ख़ासियत यह है कि यह वीएलआईडब्ल्यू प्रोसेसर है, इसलिए एलब्रस के लिए विशिष्ट कुछ अनुकूलन किए जा सकते हैं।
  
• परिमाणीकरण (फ्लोट 32 के बजाय int8 के साथ काम करना) करें, जो स्मृति को बचाता है और गति बढ़ाता है। तदनुसार, इस मामले में, निश्चित रूप से, गणना की गुणवत्ता में एक गिरावट हो सकती है - लेकिन यह नहीं हो सकता है। हमने व्यवहार में दोनों मामलों को देखा है।

हम आगे समझने, वीएलआईडब्ल्यू प्रोसेसर की क्षमताओं का पता लगाने की योजना बनाते हैं। वास्तव में, अभी के लिए, हमने केवल कंपाइलर पर भरोसा किया है कि यदि हम अच्छा कोड लिखते हैं, तो कंपाइलर इसे अच्छी तरह से अनुकूलित करता है, क्योंकि यह एल्ब्रस की विशेषताओं को जानता है।

सामान्य तौर पर, यह दिलचस्प था, हम आगे समझेंगे। इसमें अधिक समय नहीं लगा - सभी पोर्टिंग ऑपरेशनों में कुल एक सप्ताह का समय लगा।

जनवरी 2020 में हमने पहेलीलिब को खुले स्रोत में रखने की योजना बनाई है, हम इसके बारे में और अधिक लिखेंगे =)
आपका ध्यान के लिए धन्यवाद!