सिनेट - सीपीयू पर पूर्व-प्रशिक्षित तंत्रिका नेटवर्क को लॉन्च करने के लिए एक रूपरेखा

परिचय

नमस्कार, प्यारे ख़बरोवीस!

सिनेसिस में मेरे काम के पिछले दो वर्षों को सीनेट बनाने और विकसित करने की प्रक्रिया के साथ निकटता से जोड़ा गया है - सीपीयू पर पूर्व-प्रशिक्षित दृढ़ -तंत्रिका तंत्रिका नेटवर्क चलाने के लिए एक खुली लाइब्रेरी। इस काम की प्रक्रिया में, मुझे कई दिलचस्प बिंदुओं का सामना करना पड़ा जो कि तंत्रिका नेटवर्क में प्रत्यक्ष सिग्नल प्रसार एल्गोरिदम के अनुकूलन से संबंधित हैं। मुझे ऐसा लगता है कि इन बिंदुओं का एक विवरण हैब्राहबर के पाठकों के लिए बहुत दिलचस्प होगा। मैं अपने लेखों की एक श्रृंखला समर्पित करना चाहता हूं। चक्र की अवधि इस विषय में आपकी रुचि और निश्चित रूप से, आलस्य को दूर करने की मेरी क्षमता पर निर्भर करेगी। मैं चक्र को फ्रेमवर्क बाइक के विवरण के साथ शुरू करना चाहता हूं। इसके बाद आने वाले लेखों में बताए गए एल्गोरिदम के प्रश्न:

1. कन्वेंशन लेयर: मैट्रिक्स गुणन अनुकूलन तकनीक
2. संवादी परत: शमूएल विनोग्राद की विधि के अनुसार तेजी से दृढ़ संकल्प

सवालों के जवाब

फ्रेमवर्क का विस्तृत विवरण शुरू करने से पहले, मैं तुरंत उन कई सवालों के जवाब देने की कोशिश करूंगा, जो पाठकों के पास होंगे। अनुभव बताता है कि अग्रिम में ऐसा करना बेहतर है, क्योंकि कई तुरंत गुस्से वाली टिप्पणी लिखना शुरू करते हैं, अंत तक नहीं पढ़ते हैं।

पहला सवाल जो आमतौर पर ऐसे मामलों में उठता है: पारंपरिक प्रोसेसर पर नेटवर्क कौन चलाता है, जब ग्राफिक्स एक्सेलेरेटर और टेंसर (मैट्रिक्स) एक्सीलेटर होते हैं?
मैं जवाब दूंगा कि हां - यह वास्तव में सीपीयू पर तंत्रिका नेटवर्क के प्रशिक्षण के लिए उचित नहीं है, लेकिन तैयार-निर्मित तंत्रिका नेटवर्क चलाना काफी मांग है, खासकर अगर नेटवर्क काफी छोटा है। इसके कारण अलग हो सकते हैं, लेकिन मुख्य हैं:

1. सीपीयू अधिक आम हैं। सभी मशीनों में एक जीपीयू नहीं होता, खासकर सर्वर।
2. छोटे तंत्रिका नेटवर्क पर, GPU का उपयोग करने से लाभ छोटे होते हैं, और कभी-कभी पूरी तरह से अनुपस्थित होते हैं।
3. तंत्रिका नेटवर्क को गति देने के लिए GPU को प्रभावी रूप से शामिल करने के लिए आमतौर पर अधिक जटिल अनुप्रयोग संरचना की आवश्यकता होती है।

अगला संभावित प्रश्न: जब टेन्सरफ़्लो , कैफ या एमएक्सनेट होता है , तो लॉन्च करने के लिए एक विशेष समाधान का उपयोग क्यों करें?

आप निम्नलिखित उत्तर दे सकते हैं:

1. विभिन्न प्रकार के ढाँचे हमेशा अच्छे नहीं होते हैं - इसलिए यदि किसी परियोजना में विभिन्न रूपरेखाओं में प्रशिक्षित कई मॉडल हैं, तो आपको उन सभी को एक तैयार समाधान में एम्बेड करना होगा, जो बहुत असुविधाजनक है।
2. क्लासिक रूपरेखा जीपीयू मॉडल को प्रशिक्षित करने के लिए डिजाइन किए गए थे - और वे निश्चित रूप से अच्छे हैं! लेकिन सीपीयू पर प्रशिक्षित मॉडल चलाने के लिए, उनकी कार्यक्षमता बेमानी है और इष्टतम नहीं है।
3. एक विशेष समाधान की आवश्यकता की पुष्टि OpenVino की लोकप्रियता है - इंटेल से एक रूपरेखा, जो एक ही कार्य करता है।

यहां तुरंत साइकिल के आविष्कार के बारे में एक तार्किक सवाल उठता है: किसी मान्यता प्राप्त विश्व नेता से पूरी तरह से पेशेवर समाधान होने पर अपने शिल्प का उपयोग क्यों करें?
मेरा उत्तर है:

1. Synet पर काम की शुरुआत में, OpenVino अभी भी अपनी प्रारंभिक अवस्था में था। और सच में, अगर उस समय OpenVino अपनी वर्तमान स्थिति में था, तो उच्च संभावना के साथ मैं अपने प्रोजेक्ट में शामिल नहीं होता।
2. आप अपनी आवश्यकताओं के लिए अपने स्वयं के ढांचे को अनुकूलित कर सकते हैं। इसलिए मेरे मामले में, मुख्य आवश्यकता अधिकतम एकल-थ्रेडेड प्रदर्शन थी।
3. आप जितनी जल्दी हो सके नई कार्यक्षमता के लिए सहायता प्रदान कर सकते हैं यदि आपको अचानक इसकी आवश्यकता है (उदाहरण के लिए, एक नई परत जोड़ें और एक प्रदर्शन त्रुटि को समाप्त करें)।
4. एक टर्नकी समाधान में एकीकृत करने के लिए आसान है।
5. X86 / x86_64 के अलावा प्लेटफार्मों पर पुस्तकालय का कामकाज - उदाहरण के लिए, एआरएम पर।

यह संभावना है कि पाठकों के पास अन्य प्रश्न या आपत्तियां होंगी - लेकिन मैं अभी भी उनकी भविष्यवाणी नहीं कर सकता हूं, और इसलिए मैं टिप्पणियों में लेख का जवाब दूंगा। इस बीच, चलो सिनेट के प्रत्यक्ष विवरण के साथ आरंभ करें।

सिनट शार्ट डिटेल्स

Synet C ++ में लिखा जाता है और इसमें केवल हेडर फाइलें होती हैं । कम-स्तरीय प्लेटफ़ॉर्म- विशिष्ट अनुकूलन सिमड में कार्यान्वित किए जाते हैं, एक अन्य ओपन-सोर्स प्रोजेक्ट जो सीपीयू पर छवि प्रसंस्करण को गति देने के लिए समर्पित है। और यह सिनेट की एकमात्र बाहरी निर्भरता है (पुस्तकालय को तीसरे पक्ष के परियोजनाओं में एकीकरण की सुविधा के लिए इस तरह की योजना को चुना गया था)। तंत्रिका नेटवर्क लॉन्च करने के लिए, अपने स्वयं के आंतरिक प्रारूप के मॉडल का उपयोग किया जाता है।



आंतरिक प्रारूप में पूर्व-प्रशिक्षित मॉडल का रूपांतरण दो-चरणीय योजना के अनुसार किया जाता है: 1) सबसे पहले, मॉडल को इनवेंशन इंजन प्रारूप में परिवर्तित करें (अच्छा)
OpenVINO के पास इसके लिए सभी आवश्यक उपकरण हैं )। 2) फिर, इस मध्यवर्ती प्रतिनिधित्व से, सीधे आंतरिक Synet प्रारूप में परिवर्तित करें।



Synet मॉडल में दो फाइलें होती हैं: 1) * .XML - एक फाइल जिसमें मॉडल की संरचना का विवरण होता है। 2) * .BIN - प्रशिक्षित भार के साथ एक फ़ाइल।

सिनेट उदाहरण

निम्नलिखित चेहरे का पता लगाने के लिए Synet का उपयोग करने का एक उदाहरण है। मूल इंट्रेंस इंजन मॉडल यहाँ लिया गया है ।

#define SYNET_SIMD_LIBRARY_ENABLE #include "Synet/Network.h" #include "Synet/Converters/InferenceEngine.h" #include "Simd/SimdDrawing.hpp" typedef Synet::Network<float> Net; typedef Synet::View View; typedef Synet::Shape Shape; typedef Synet::Region<float> Region; typedef std::vector<Region> Regions; int main(int argc, char* argv[]) { Synet::ConvertInferenceEngineToSynet("ie_fd.xml", "ie_fd.bin", true, "synet.xml", "synet.bin"); Net net; net.Load("synet.xml", "synet.bin"); net.Reshape(256, 256, 1); Shape shape = net.NchwShape(); View original; original.Load("faces_0.ppm"); View resized(shape[3], shape[2], original.format); Simd::Resize(original, resized, ::SimdResizeMethodArea); net.SetInput(resized, 0.0f, 255.0f); net.Forward(); Regions faces = net.GetRegions(original.width, original.height, 0.5f, 0.5f); uint32_t white = 0xFFFFFFFF; for (size_t i = 0; i < faces.size(); ++i) { const Region & face = faces[i]; ptrdiff_t l = ptrdiff_t(face.x - face.w / 2); ptrdiff_t t = ptrdiff_t(face.y - face.h / 2); ptrdiff_t r = ptrdiff_t(face.x + face.w / 2); ptrdiff_t b = ptrdiff_t(face.y + face.h / 2); Simd::DrawRectangle(original, l, t, r, b, white); } original.Save("annotated_faces_0.ppm"); return 0; } 

उदाहरण के परिणामस्वरूप, एनोटेट चेहरे के साथ एक तस्वीर दिखाई देनी चाहिए:



अब आइए कदमों का एक उदाहरण लेते हैं:

1. सबसे पहले, मॉडल को इंट्रेंस इंजन प्रारूप से Synet में परिवर्तित किया जाता है:
   
   

    Synet::ConvertInferenceEngineToSynet("ie_fd.xml", "ie_fd.bin", true, "synet.xml", "synet.bin"); 

   
   वास्तव में, यह कदम एक बार किया जाता है, और फिर पहले से ही परिवर्तित मॉडल का उपयोग हर जगह किया जाता है।
2. परिवर्तित मॉडल डाउनलोड करें:
   
   

    Net net; net.Load("synet.xml", "synet.bin"); 

3. इनपुट छवि और बैच को आकार देने के लिए एक वैकल्पिक कदम (स्वाभाविक रूप से, मॉडल को इनपुट छवि के आकार का समर्थन करना चाहिए):
   
   

    net.Reshape(256, 256, 1); 

4. चित्र लोड करना और उसे मॉडल के इनपुट आकार में लाना:
   
   

    View original; original.Load("faces_0.ppm"); View resized(net.NchwShape()[3], net.NchwShape()[2], original.format); Simd::Resize(original, resized, ::SimdResizeMethodArea); 

5. मॉडल में लोड हो रही छवि:
   
   

    net.SetInput(resized, 0.0f, 255.0f); 

6. नेटवर्क में प्रत्यक्ष सिग्नल प्रसार शुरू करना:
   
   

    net.Forward(); 

7. पाए गए चेहरों वाले क्षेत्रों का एक सेट प्राप्त करना:
   
   

    Regions faces = net.GetRegions(original.width, original.height, 0.5f, 0.5f); 

प्रदर्शन की तुलना

मशीन सीखने के लिए क्लासिक फ्रेमवर्क के साथ Synet की तुलना करना शायद पूरी तरह से सही नहीं होगा, उदाहरण के लिए, Inference Engine ने कई परीक्षणों पर उन्हें कई बार बायपास किया ।
इसलिए, निम्न मॉडल के सेट से एक नमूने पर इंजेक्शन इंजन (समान कार्यक्षमता का एक उत्पाद) और सिनेट के एकल-थ्रेडेड प्रदर्शन की तुलना करने का एक उदाहरण है:

जैसा कि तालिका से देखा जा सकता है, AVX2 (i7-6700) के समर्थन के साथ एक मशीन पर इन परीक्षणों में, Synet का प्रदर्शन आमतौर पर Inference इंजन के प्रदर्शन से मेल खाता है (हालाँकि यह मॉडल से मॉडल में बहुत भिन्न होता है)। AVX-512 (i9-7900X) के लिए समर्थन वाली मशीन पर, Synet का प्रदर्शन औसतन इंजन की तुलना में औसतन 25% अधिक है।

सभी माप परीक्षण अनुप्रयोग द्वारा किए गए थे, जो Synet में है। इसलिए, यदि वांछित है, तो पाठक स्वयं परीक्षणों को पुन: प्रस्तुत करने में सक्षम होंगे:

 git clone -b master --recurse-submodules -v https://github.com/ermig1979/Synet.git synet cd synet ./build.sh inference_engine ./test.sh 

फायदे और नुकसान

मैं पेशेवरों के साथ शुरू करूँगा:

1. परियोजना आकार में छोटी है, आसानी से तीसरे पक्ष की परियोजनाओं में कार्यान्वित की जाती है।
2. उच्च एकल-थ्रेडेड प्रदर्शन दिखाता है।
3. मोबाइल प्रोसेसर पर काम करता है (ARM-NEON का समर्थन करता है)।

अच्छी तरह से और विपक्ष, जहां उनके बिना:

1. GPU और अन्य विशेष त्वरक के लिए कोई समर्थन नहीं है।
2. मल्टी-कोर सीपीयू पर एक कार्य का खराब समानांतर।
3. INT8 (भार का परिमाणीकरण) के लिए कोई समर्थन नहीं।

निष्कर्ष

Synet वर्तमान में Kipod परियोजना के भाग के रूप में उपयोग किया जा रहा है, जो वीडियो एनालिटिक्स के लिए क्लाउड-आधारित प्लेटफ़ॉर्म है। शायद उसके पास अन्य उपयोगकर्ता हैं, लेकिन यह सुनिश्चित नहीं है :)। भविष्य में, जैसा कि परियोजना विकसित होती है, मैं इसमें निम्नलिखित बातें जोड़ना चाहूंगा:

1. नए मॉडल, परतों, एल्गोरिदम के लिए समर्थन।
2. INT8 प्रारूप (मात्रा भार) में पूर्णांक गणना के लिए समर्थन।
3. GPU कंप्यूटिंग समर्थन।
4. ONNX प्रारूप से परिवर्तित करें।

यह सूची पूरी तरह से दूर है, और मैं इसे समुदाय की राय को ध्यान में रखते हुए पूरक करना चाहूंगा - इसलिए मैं आपकी प्रतिक्रिया की प्रतीक्षा कर रहा हूं! उपकरण को न केवल हमारी कंपनी के लिए, बल्कि उपयोगकर्ताओं की एक विस्तृत श्रृंखला के लिए उपयोगी बनाने के लिए। इसके अलावा, लेखक विकास प्रक्रिया में सामुदायिक सहायता से इनकार नहीं करेगा।
Synet का वर्णन करते समय, जो मैंने इस लेख में किया था, मैंने जानबूझकर इसके आंतरिक कार्यान्वयन के विवरण में नहीं डाला - हुड के तहत बहुत सारे स्वादिष्ट एल्गोरिदम हैं, लेकिन मैं श्रृंखला के निम्नलिखित लेखों में उनके कार्यान्वयन के विवरण का खुलासा करना चाहूंगा:

1. कन्वेंशन लेयर: मैट्रिक्स गुणन अनुकूलन तकनीक
2. संवादी परत: शमूएल विनोग्राद की विधि के अनुसार तेजी से दृढ़ संकल्प