नमस्कार, हेब्र! मैं विज़न प्लेटफ़ॉर्म के विकास का नेतृत्व करता हूं - यह हमारा सार्वजनिक प्लेटफ़ॉर्म है, जो कंप्यूटर विज़न मॉडल तक पहुंच प्रदान करता है और आपको चेहरे, संख्या, ऑब्जेक्ट और संपूर्ण दृश्यों को पहचानने जैसे कार्यों को हल करने की अनुमति देता है। और आज मैं विज़न के उदाहरण से बताना चाहता हूं कि वीडियो कार्ड का उपयोग करके एक तेज़, अत्यधिक भरी हुई सेवा को कैसे लागू किया जाए, इसे कैसे तैनात और संचालित किया जाए।

विजन क्या है?

यह अनिवार्य रूप से REST API है। उपयोगकर्ता एक फोटो के साथ एक HTTP अनुरोध उत्पन्न करता है और इसे सर्वर पर भेजता है।

मान लीजिए आपको किसी तस्वीर में चेहरा पहचानना है। सिस्टम इसे ढूंढता है, इसे काटता है, चेहरे से कुछ गुणों को निकालता है, इसे डेटाबेस में बचाता है और एक सशर्त संख्या निर्दिष्ट करता है। उदाहरण के लिए, person42। उपयोगकर्ता फिर अगली फोटो अपलोड करता है, जिसमें एक ही व्यक्ति है। सिस्टम अपने चेहरे से गुण निकालता है, डेटाबेस को खोजता है और उस सशर्त संख्या को लौटाता है जिसे शुरू में व्यक्ति को सौंपा गया था, अर्थात। person42।

आज, विज़न के मुख्य उपयोगकर्ता Mail.ru Group की विभिन्न परियोजनाएँ हैं। ज्यादातर अनुरोध मेल और क्लाउड से आते हैं।


क्लाउड में, उपयोगकर्ताओं के पास फ़ोल्डर होते हैं जिसमें फ़ोटो अपलोड किए जाते हैं। क्लाउड विज़न के माध्यम से फाइल चलाता है और उन्हें श्रेणियों में समूहित करता है। उसके बाद, उपयोगकर्ता आसानी से अपनी तस्वीरों के माध्यम से फ्लिप कर सकता है। उदाहरण के लिए, जब आप दोस्तों या परिवार को तस्वीरें दिखाना चाहते हैं, तो आप अपनी ज़रूरत के हिसाब से जल्दी पा सकते हैं।

मेल और क्लाउड दोनों लाखों लोगों के साथ बहुत बड़ी सेवाएं हैं, इसलिए विज़न प्रति मिनट सैकड़ों हजारों अनुरोधों को संसाधित करता है। यही है, यह एक क्लासिक उच्च-लोड वाली सेवा है, लेकिन एक मोड़ के साथ: इसमें nginx, एक वेब सर्वर, एक डेटाबेस और कतारें हैं, लेकिन इस सेवा के सबसे निचले स्तर पर इंजेक्शन है - तंत्रिका नेटवर्क के माध्यम से चलने वाली छवियां। यह तंत्रिका नेटवर्क की दौड़ है जो अधिकांश समय लेता है और संसाधनों की आवश्यकता होती है। कम्प्यूटिंग नेटवर्क में मैट्रिक्स ऑपरेशन का एक क्रम होता है जो आमतौर पर सीपीयू पर एक लंबा समय लगता है, लेकिन वे GPU पर पूरी तरह से समानांतर होते हैं। नेटवर्क को प्रभावी ढंग से चलाने के लिए, हम वीडियो कार्ड के साथ सर्वर के एक क्लस्टर का उपयोग करते हैं।

इस लेख में मैं ऐसी युक्तियों का एक सेट साझा करना चाहता हूं जो इस तरह की सेवा बनाते समय उपयोगी हो सकते हैं।

सेवा विकास

एक अनुरोध के लिए प्रसंस्करण समय

भारी भार वाली प्रणाली के लिए, एक अनुरोध का प्रसंस्करण समय और सिस्टम का थ्रूपुट महत्वपूर्ण हैं। तंत्रिका नेटवर्क आर्किटेक्चर के सही चयन द्वारा, सबसे पहले क्वेरी प्रोसेसिंग की उच्च गति प्रदान की जाती है। एमएल में, किसी भी अन्य प्रोग्रामिंग कार्य की तरह, समान कार्यों को विभिन्न तरीकों से हल किया जा सकता है। आइए फेस डिटेक्शन लें: इस समस्या को हल करने के लिए, हमने सबसे पहले आर-एफसीएन आर्किटेक्चर के साथ न्यूरल नेटवर्क को लिया। वे काफी उच्च गुणवत्ता दिखाते हैं, लेकिन एक छवि पर लगभग 40 एमएस लेते हैं, जो हमें शोभा नहीं देता। फिर हमने MTCNN वास्तुकला की ओर रुख किया और गुणवत्ता में मामूली गिरावट के साथ गति में दो गुना वृद्धि हुई।

कभी-कभी, तंत्रिका नेटवर्क के अभिकलन समय का अनुकूलन करने के लिए, यह एक और ढांचे में कार्यान्वयन को लागू करने के लिए फायदेमंद हो सकता है, न कि उस सिखाया गया था। उदाहरण के लिए, कभी-कभी यह आपके मॉडल को NVIDIA TensorRT में बदलने के लिए समझ में आता है। यह कई अनुकूलन लागू करता है और विशेष रूप से जटिल मॉडल पर विशेष रूप से अच्छा है। उदाहरण के लिए, यह किसी तरह कुछ परतों को पुनर्व्यवस्थित कर सकता है, विलीन कर सकता है और इसे दूर भी फेंक सकता है; परिणाम नहीं बदलेगा, और अनुमान गणना की गति बढ़ जाएगी। TensorRT बेहतर स्मृति प्रबंधन की भी अनुमति देता है और, कुछ तरकीबों के बाद, कम सटीकता के साथ गणना की संख्या को कम कर सकता है, जिससे गणना की गति भी बढ़ जाती है।

वीडियो कार्ड डाउनलोड करें

नेटवर्क इंट्रेंस जीपीयू पर किया जाता है, वीडियो कार्ड सर्वर का सबसे महंगा हिस्सा है, इसलिए इसे यथासंभव कुशलता से उपयोग करना महत्वपूर्ण है। कैसे समझें, क्या हमने पूरी तरह से GPU लोड किया है या हम लोड बढ़ा सकते हैं? इस सवाल का जवाब दिया जा सकता है, उदाहरण के लिए, मानक वीडियो ड्राइवर पैकेज से एनवीडिया-एसएमआई उपयोगिता में जीपीयू यूटिलाइजेशन पैरामीटर का उपयोग करना। यह आंकड़ा, निश्चित रूप से यह नहीं दिखाता है कि वीडियो कार्ड पर कितने CUDA कोर सीधे लोड किए गए हैं, लेकिन कितने निष्क्रिय हैं, लेकिन यह आपको किसी भी तरह से GPU के लोडिंग का मूल्यांकन करने की अनुमति देता है। अनुभव से, हम कह सकते हैं कि 80-90% लोडिंग अच्छा है। यदि यह 10-20% भरा हुआ है, तो यह खराब है, और अभी भी संभावित है।

इस अवलोकन का एक महत्वपूर्ण परिणाम: आपको सिस्टम को व्यवस्थित करने की कोशिश करने की आवश्यकता है ताकि वीडियो कार्ड के लोडिंग को अधिकतम किया जा सके। इसके अलावा, यदि आपके पास 10 वीडियो कार्ड हैं, जिनमें से प्रत्येक 10-20% लोड है, तो, सबसे अधिक संभावना है, दो उच्च-लोड वीडियो कार्ड एक ही समस्या को हल कर सकते हैं।

सिस्टम थ्रूपुट

जब आप एक तंत्रिका नेटवर्क के इनपुट के लिए एक तस्वीर प्रस्तुत करते हैं, तो तस्वीर प्रसंस्करण मैट्रिक्स के विभिन्न प्रकारों के लिए कम हो जाता है। वीडियो कार्ड एक मल्टी-कोर सिस्टम है, और आमतौर पर हम जो इनपुट चित्र प्रस्तुत करते हैं, वे छोटे होते हैं। मान लीजिए कि हमारे वीडियो कार्ड पर 1,000 कोर हैं, और हमारे पास चित्र में 250 x 250 पिक्सेल हैं। अकेले, वे अपने मामूली आकार के कारण सभी कोर लोड नहीं कर पाएंगे। और अगर हम एक बार में ऐसी तस्वीरें मॉडल में जमा करते हैं, तो वीडियो कार्ड लोड करना 25% से अधिक नहीं होगा।


इसलिए, आपको एक बार में कई चित्र अपलोड करने होंगे और उनसे एक बैच बनाना होगा।


इस मामले में, वीडियो कार्ड का लोड 95% तक बढ़ जाता है, और एक चित्र के अनुसार अनुमान की गणना में समय लगेगा।

लेकिन क्या होगा अगर कतार में 10 चित्र नहीं हैं ताकि हम उन्हें एक बैच में जोड़ सकें? आप थोड़ा इंतजार कर सकते हैं, उदाहरण के लिए, 50-100 एमएस इस उम्मीद में कि अनुरोध आएंगे। इस रणनीति को फिक्स लेटेंसी रणनीति कहा जाता है। यह आपको क्लाइंट से आंतरिक बफ़र में अनुरोधों को संयोजित करने की अनुमति देता है। नतीजतन, हम अपनी देरी को कुछ निश्चित राशि से बढ़ाते हैं, लेकिन सिस्टम थ्रूपुट में काफी वृद्धि करते हैं।

प्रवेश प्रारंभ करें

हम एक निश्चित प्रारूप और आकार (उदाहरण के लिए, 200 x 200 पिक्सेल) की छवियों पर मॉडल को प्रशिक्षित करते हैं, लेकिन सेवा को विभिन्न छवियों को अपलोड करने की क्षमता का समर्थन करना चाहिए। इसलिए, आपत्ति दर्ज करने से पहले सभी चित्र, आपको ठीक से तैयार करने (आकार बदलने, केंद्र, सामान्य करने, अनुवाद करने के लिए फ्लोट, आदि) की आवश्यकता है। यदि इन सभी ऑपरेशनों को एक प्रक्रिया में किया जाता है जो कि अनुमान को लॉन्च करता है, तो इसका कार्य चक्र कुछ इस तरह दिखाई देगा:



वह कुछ समय प्रोसेसर में खर्च करता है, इनपुट डेटा तैयार करता है, कुछ समय के लिए जीपीयू से प्रतिक्रिया का इंतजार करता है। इनफ़ेक्शन के बीच अंतराल को कम से कम करना बेहतर है ताकि GPU कम निष्क्रिय हो।



ऐसा करने के लिए, आप एक और स्ट्रीम शुरू कर सकते हैं, या वीडियो कार्ड के बिना, लेकिन शक्तिशाली प्रोसेसर के साथ अन्य सर्वरों में छवियों की तैयारी को स्थानांतरित कर सकते हैं।

यदि संभव हो तो, अनुमान के लिए जिम्मेदार प्रक्रिया को इसके साथ ही निपटना चाहिए: साझा मेमोरी तक पहुंचें, इनपुट डेटा एकत्र करें, तुरंत इसे वीडियो कार्ड की मेमोरी में कॉपी करें और इंजेक्शन चलाएं।

टर्बो बूस्ट

न्यूरल नेटवर्क लॉन्च करना एक ऐसा ऑपरेशन है जो न केवल GPU, बल्कि प्रोसेसर के संसाधनों का उपभोग करता है। भले ही सब कुछ बैंडविड्थ के संदर्भ में सही ढंग से आयोजित किया गया हो, और थ्रेड जो प्रदर्शन करता है, पहले से ही नए डेटा की प्रतीक्षा कर रहा है, एक कमजोर प्रोसेसर पर आपको बस नए डेटा के साथ इस स्ट्रीम को संतृप्त करने का समय नहीं होगा।

कई प्रोसेसर टर्बो बूस्ट तकनीक का समर्थन करते हैं। यह आपको प्रोसेसर की आवृत्ति बढ़ाने की अनुमति देता है, लेकिन यह हमेशा डिफ़ॉल्ट रूप से सक्षम नहीं होता है। यह इसकी जाँच के लायक है। इसके लिए, लिनक्स में सीपीयू पावर उपयोगिता है: $ cpupower frequency-info -m ।


प्रोसेसर में एक बिजली खपत मोड भी होता है जिसे ऐसे CPU पावर: performance कमांड द्वारा पहचाना जा सकता है।


पॉवरसेव मोड में, प्रोसेसर अपनी आवृत्ति को कम कर सकता है और धीमी गति से चला सकता है। आपको BIOS में जाना चाहिए और प्रदर्शन मोड का चयन करना चाहिए। फिर प्रोसेसर हमेशा अधिकतम आवृत्ति पर काम करेगा।

आवेदन परिनियोजन

डॉकर एप्लिकेशन को तैनात करने के लिए बहुत अच्छा है, यह आपको कंटेनर के अंदर GPU पर एप्लिकेशन चलाने की अनुमति देता है। वीडियो कार्ड तक पहुंचने के लिए, पहले आपको होस्ट सिस्टम पर वीडियो कार्ड के लिए ड्राइवरों को स्थापित करना होगा - एक भौतिक सर्वर। फिर, कंटेनर शुरू करने के लिए, आपको बहुत सारे मैनुअल काम करने की आवश्यकता है: सही मापदंडों के साथ कंटेनर के अंदर वीडियो कार्ड को सही ढंग से फेंक दें। कंटेनर शुरू करने के बाद, इसके अंदर वीडियो ड्राइवर स्थापित करना अभी भी आवश्यक होगा। और उसके बाद ही आप अपने एप्लिकेशन का उपयोग कर सकते हैं।



इस दृष्टिकोण में एक चेतावनी है। सर्वर क्लस्टर से गायब हो सकते हैं और जोड़े जा सकते हैं। यह संभव है कि विभिन्न सर्वरों में ड्राइवरों के विभिन्न संस्करण होंगे, और वे उस संस्करण से अलग होंगे जो कंटेनर के अंदर स्थापित है। इस मामले में, एक साधारण डॉकर टूट जाएगा: वीडियो कार्ड तक पहुंचने की कोशिश करते समय एप्लिकेशन को ड्राइवर संस्करण बेमेल त्रुटि प्राप्त होगी।



इससे कैसे निपटें? NVIDIA से डॉकर का एक संस्करण है, धन्यवाद जिससे कंटेनर का उपयोग करना आसान और अधिक सुखद हो जाता है। एनवीआईडीआईए के अनुसार और व्यावहारिक टिप्पणियों के अनुसार, एनवीडिया-डोक्टर का उपयोग करने का ओवरहेड लगभग 1% है।

इस मामले में, ड्राइवरों को केवल मेजबान मशीन पर स्थापित करने की आवश्यकता है। जब आप कंटेनर शुरू करते हैं, तो आपको कुछ भी अंदर फेंकने की ज़रूरत नहीं है, और एप्लिकेशन को तुरंत वीडियो कार्ड तक पहुंच होगी।



ड्राइवरों से एनवीडिया-डोक्टर की "स्वतंत्रता" आपको विभिन्न मशीनों पर एक ही छवि से एक कंटेनर चलाने की अनुमति देती है, जिस पर ड्राइवरों के विभिन्न संस्करण स्थापित होते हैं। इसे कैसे लागू किया जाता है? डॉकर में एक अवधारणा है जिसे डॉक-रनटाइम कहा जाता है: यह मानकों का एक सेट है जो बताता है कि एक कंटेनर को मेजबान कर्नेल के साथ कैसे संवाद करना चाहिए, यह कैसे शुरू और बंद होना चाहिए, कर्नेल और चालक के साथ कैसे बातचीत करनी चाहिए। डॉकर के एक विशिष्ट संस्करण के साथ शुरू करना, इस रनटाइम को बदलना संभव है। यह वही है जो एनवीआईडीआईए ने किया था: वे रनटाइम को बदलते हैं, कॉल को वीडियो ड्राइवर के अंदर पकड़ते हैं और सही संस्करण को वीडियो ड्राइवर में कॉल में परिवर्तित करते हैं।

वाद्य-स्थान

हमने ऑर्केस्ट्रा के रूप में कुबेरनेट्स को चुना। यह कई बहुत अच्छी विशेषताओं का समर्थन करता है जो किसी भी भारी भारित प्रणाली के लिए उपयोगी हैं। उदाहरण के लिए, ऑटोडिस्कवरिंग सेवाओं को जटिल रूलिंग नियमों के बिना क्लस्टर के भीतर एक दूसरे तक पहुंचने की अनुमति देता है। या गलती सहिष्णुता - जब कुबेरनेट्स हमेशा कई कंटेनरों को तैयार रखता है, और अगर आपके साथ कुछ हुआ है, तो कुबेरनेट्स तुरंत एक नया कंटेनर लॉन्च करेंगे।

यदि आपके पास पहले से ही कुबेरनेट्स क्लस्टर कॉन्फ़िगर है, तो आपको क्लस्टर के अंदर वीडियो कार्ड का उपयोग शुरू करने के लिए इतनी आवश्यकता नहीं है:

• अपेक्षाकृत ताजा ड्राइवर
  
• एनवीडिया-डोकर संस्करण 2 स्थापित किया गया
  
• docker क्रम डिफ़ॉल्ट रूप से /etc/docker/daemon.json में `nvidia` करने के लिए डिफ़ॉल्ट रूप से सेट:
  "default-runtime": "nvidia"
  
• स्थापित प्लगइन kubectl create -f https://githubusercontent.com/k8s-device-plugin/v1.12/plugin.yml

आपके द्वारा अपना क्लस्टर कॉन्फ़िगर करने और डिवाइस प्लगइन स्थापित करने के बाद, आप एक संसाधन के रूप में एक वीडियो कार्ड निर्दिष्ट कर सकते हैं।



इसका क्या प्रभाव पड़ता है? मान लीजिए कि हमारे पास दो नोड्स हैं, भौतिक मशीनें। एक पर वीडियो कार्ड है, दूसरे पर नहीं। कुबेरनेट्स एक वीडियो कार्ड के साथ एक मशीन का पता लगाएगा और उस पर हमारी फली उठाएगा।

यह ध्यान रखना महत्वपूर्ण है कि कुबेरनेट्स को पता नहीं है कि पॉड्स के बीच वीडियो कार्ड को कैसे सक्षम किया जाए। यदि आपके पास 4 वीडियो कार्ड हैं और कंटेनर को शुरू करने के लिए आपको 1 जीपीयू की आवश्यकता है, तो आप अपने क्लस्टर पर 4 से अधिक पॉड नहीं बढ़ा सकते हैं।

हम एक नियम 1 पॉड = 1 मॉडल = 1 जीपीयू के रूप में लेते हैं।

4 वीडियो कार्ड पर अधिक इंस्टेंस चलाने का एक विकल्प है, लेकिन हम इस लेख में इस पर विचार नहीं करेंगे, क्योंकि यह विकल्प बॉक्स से बाहर नहीं जाता है।

यदि कई मॉडलों को एक साथ स्पिन किया जाना चाहिए, तो प्रत्येक मॉडल के लिए कुबेरनेट्स में तैनाती बनाने के लिए सुविधाजनक है। इसकी कॉन्फ़िगरेशन फ़ाइल में, आप मॉडल की लोकप्रियता को ध्यान में रखते हुए प्रत्येक मॉडल के लिए चूल्हा की संख्या निर्दिष्ट कर सकते हैं। यदि मॉडल में बहुत सारे अनुरोध आते हैं, तो आपको इसके लिए बहुत सारे पॉड्स निर्दिष्ट करने की आवश्यकता है, अगर कुछ अनुरोध हैं, तो कुछ पॉड्स हैं। कुल मिलाकर, चूल्हों की संख्या क्लस्टर में वीडियो कार्ड की संख्या के बराबर होनी चाहिए।

एक दिलचस्प बिंदु पर विचार करें। मान लीजिए कि हमारे पास 4 वीडियो कार्ड और 3 मॉडल हैं।


पहले दो वीडियो कार्ड पर, चेहरे की पहचान मॉडल की वृद्धि, वस्तुओं की एक और मान्यता और कार संख्या की एक और मान्यता पर।

आप काम करते हैं, ग्राहक आते हैं और चले जाते हैं, और एक बार, उदाहरण के लिए, रात में, एक स्थिति उत्पन्न होती है जब प्रवेश वस्तुओं के साथ एक वीडियो कार्ड बस लोड नहीं होता है, अनुरोधों की एक छोटी राशि आती है, और चेहरे की पहचान वाले वीडियो कार्ड अतिभारित होते हैं। मैं इस समय वस्तुओं के साथ एक मॉडल रखना चाहता हूं और लाइनों को उतारने के लिए इसके स्थान पर चेहरे लॉन्च करना चाहता हूं।

वीडियो कार्ड पर मॉडल के स्वचालित स्केलिंग के लिए, कुबेरनेट्स के अंदर उपकरण हैं - क्षैतिज चूल्हा ऑटो-स्केलिंग (एचपीए, क्षैतिज पॉड ऑटोसालर)।
बॉक्स से बाहर, कुबेरनेट्स सीपीयू उपयोग पर ऑटो-स्केलिंग का समर्थन करता है। लेकिन वीडियो कार्ड के साथ एक कार्य में स्केलिंग के लिए प्रत्येक मॉडल के कार्यों की संख्या पर जानकारी का उपयोग करना अधिक उचित होगा।

हम ऐसा करते हैं: प्रत्येक मॉडल के लिए एक कतार में अनुरोध करें। जब अनुरोध पूरे हो जाते हैं, तो हम उन्हें इस कतार से हटा देते हैं। यदि हम लोकप्रिय मॉडलों के लिए अनुरोधों को जल्दी से संसाधित करने का प्रबंधन करते हैं, तो कतार नहीं बढ़ती है। यदि किसी विशेष मॉडल के लिए अनुरोधों की संख्या अचानक बढ़ जाती है, तो कतार बढ़ने लगती है। यह स्पष्ट हो जाता है कि आपको वीडियो कार्ड जोड़ने की आवश्यकता है जो लाइन को रेक करने में मदद करेगा।

प्रोमेथियस के माध्यम से एचपीए के माध्यम से हम कतारों की जानकारी:



और फिर हम क्लस्टर में वीडियो कार्ड पर मॉडल के ऑटो-स्केलिंग करते हैं, उनके अनुरोधों की संख्या के आधार पर।

सीआई / सीडी

आपके द्वारा एप्लिकेशन को संलग्न करने और कुबेरनेट्स में लपेटने के बाद, आपके पास प्रोजेक्ट के शीर्ष पर शाब्दिक रूप से एक कदम बचा है। आप CI / CD जोड़ सकते हैं, यहाँ हमारी पाइपलाइन से एक उदाहरण है:



यहां प्रोग्रामर ने मास्टर कोड में नया कोड लॉन्च किया, जिसके बाद हमारे बैकएंड डेमोंस के साथ डॉकर की छवि स्वचालित रूप से एकत्र की जाती है और परीक्षण चलाए जाते हैं। यदि सभी चेकमार्क हरे हैं, तो आवेदन को परीक्षण वातावरण में डाला जाता है। यदि इसमें कोई समस्या नहीं हैं, तो आप छवि को बिना किसी कठिनाइयों के संचालन में भेज सकते हैं।

निष्कर्ष

अपने लेख में, मैंने एक GPU का उपयोग करके अत्यधिक भरी हुई सेवा के काम के कुछ पहलुओं को छुआ। हमने सेवा के प्रतिक्रिया समय को कम करने के तरीकों के बारे में बात की, जैसे:

• विलंबता को कम करने के लिए इष्टतम तंत्रिका नेटवर्क वास्तुकला का चयन;
• TensorRT जैसे अनुकूलन ढांचे के अनुप्रयोग।

बढ़ते थ्रूपुट के मुद्दों को उठाया:

• छवि बैचिंग का उपयोग;
• फिक्स लेटेंसी की रणनीति को लागू करना ताकि अनुमानों की संख्या कम हो, लेकिन प्रत्येक इंजेक्शन बड़ी संख्या में चित्रों को संसाधित करेगा;
• GPU डाउनटाइम को कम करने के लिए डेटा इनपुट पाइपलाइन का अनुकूलन;
• प्रोसेसर के साथ "लड़ाई", अन्य सर्वरों के लिए सीपीयू-बाउंड संचालन को हटाने।

हमने एक GPU के साथ एक एप्लिकेशन को तैनात करने की प्रक्रिया को देखा:

• कुबेरनेट्स के अंदर एनवीडिया-डूकर का उपयोग करना
• स्केलिंग अनुरोधों और HPA (क्षैतिज पॉड ऑटोसालर) की संख्या के आधार पर।