कंप्यूटर विज़न Mail.ru टीम से मॉडलिंग का अनुभव

मेरा नाम एडुआर्ड टायंटोव है, मैं Mail.ru ग्रुप में कंप्यूटर विजन टीम का नेतृत्व करता हूं। हमारे अस्तित्व के कई वर्षों में, हमारी टीम ने दर्जनों कंप्यूटर विज़न समस्याओं को हल किया है, और आज मैं आपको बताऊंगा कि हम मशीन लर्निंग मॉडल को सफलतापूर्वक बनाने के लिए किन तरीकों का उपयोग करते हैं जो कई प्रकार के कार्यों पर काम करते हैं। मैं ऐसे ट्रिक्स साझा करूंगा जो सभी चरणों में मॉडल को गति दे सकते हैं: एक कार्य सेट करना, डेटा तैयार करना, उत्पादन में प्रशिक्षण और तैनाती।

Mail.ru पर कंप्यूटर विज़न

शुरू करने के लिए, Mail.ru में कंप्यूटर विज़न क्या है और हम क्या प्रोजेक्ट करते हैं। हम अपने उत्पादों में समाधान प्रदान करते हैं, जैसे मेल, Mail.ru Cloud (फोटो और वीडियो को संग्रहीत करने के लिए एक आवेदन), विज़न (कंप्यूटर दृष्टि पर आधारित B2B समाधान) और अन्य। मैं कुछ उदाहरण दूंगा।

क्लाउड (यह हमारा पहला और मुख्य ग्राहक है) के पास 60 बिलियन तस्वीरें हैं। हम उनके स्मार्ट प्रसंस्करण के लिए मशीन लर्निंग के आधार पर विभिन्न विशेषताओं का विकास करते हैं, उदाहरण के लिए, चेहरे की पहचान और दर्शनीय स्थल ( इस बारे में एक अलग पोस्ट है )। सभी उपयोगकर्ता फ़ोटो मान्यता मॉडल के माध्यम से चलाई जाती हैं, जो आपको लोगों, टैग, विज़िट किए गए शहरों और देशों द्वारा खोज और समूह बनाने की अनुमति देता है, और इसी तरह।



मेल के लिए, हमने OCR किया - एक तस्वीर से पाठ की पहचान। आज मैं आपको उसके बारे में कुछ और बताऊंगा।

बी 2 बी उत्पादों के लिए, हम लोगों को कतारों में मान्यता और गिनती करते हैं। उदाहरण के लिए, स्की लिफ्ट के लिए एक कतार है, और आपको यह गणना करने की आवश्यकता है कि इसमें कितने लोग हैं। शुरू करने के लिए, प्रौद्योगिकी का परीक्षण करने और खेलने के लिए, हमने कार्यालय में भोजन कक्ष में एक प्रोटोटाइप तैनात किया। कई कैश डेस्क हैं और तदनुसार, कई कतारें, और हम, कई कैमरों (प्रत्येक कतारों में से एक) का उपयोग करते हुए, मॉडल का उपयोग करते हुए, हम गणना करते हैं कि कितने लोग कतार में हैं और उनमें से प्रत्येक में कितने लगभग मिनट बचे हैं। इस तरह हम भोजन कक्ष में लाइनों को बेहतर ढंग से संतुलित कर सकते हैं।

समस्या का बयान

आइए किसी भी कार्य के महत्वपूर्ण भाग से शुरू करें - इसका सूत्रीकरण। लगभग किसी भी एमएल-विकास में कम से कम एक महीना लगता है (यह सबसे अच्छा तब होता है जब आप जानते हैं कि क्या करना है), और ज्यादातर मामलों में कई महीनों तक। यदि कार्य गलत है या गलत है, तो काम के अंत में उत्पाद प्रबंधक से आत्मा में कुछ सुनने का एक शानदार मौका है: “सब कुछ गलत है। यह अच्छा नहीं है। मुझे कुछ और चाहिए था। ” ऐसा होने से रोकने के लिए, आपको कुछ कदम उठाने की आवश्यकता है। एमएल आधारित उत्पादों के बारे में क्या खास है? किसी साइट को विकसित करने के कार्य के विपरीत, मशीन लर्निंग के कार्य को केवल पाठ के साथ औपचारिक रूप नहीं दिया जा सकता है। इसके अलावा, एक नियम के रूप में, यह एक अप्रशिक्षित व्यक्ति को लगता है कि सब कुछ पहले से ही स्पष्ट है, और यह सब कुछ "खूबसूरती से" करने के लिए आवश्यक है। लेकिन क्या छोटे विवरण हैं, कार्य प्रबंधक को भी पता नहीं हो सकता है, कभी भी उनके बारे में नहीं सोचा है और तब तक नहीं सोचेंगे जब तक वे अंतिम उत्पाद नहीं देखते हैं और कहते हैं: "आपने क्या किया है?"

समस्याओं

आइए उदाहरण से समझते हैं कि क्या समस्याएं हो सकती हैं। मान लीजिए कि आपके पास चेहरा पहचानने का काम है। आप इसे प्राप्त करते हैं, आनन्दित होते हैं और अपनी माँ को बुलाते हैं: "हुर्रे, एक दिलचस्प कार्य!" लेकिन क्या सीधे टूटना और करना शुरू करना संभव है? यदि आप ऐसा करते हैं, तो अंत में आप आश्चर्य की उम्मीद कर सकते हैं:

• अलग-अलग राष्ट्रीयताएं हैं। उदाहरण के लिए, डेटासेट में कोई एशियाई या कोई अन्य नहीं थे। आपका मॉडल, तदनुसार, यह नहीं जानता कि उन्हें कैसे पहचानना है, और उत्पाद को इसकी आवश्यकता है। या इसके विपरीत, आपने संशोधन पर एक अतिरिक्त तीन महीने बिताए, और उत्पाद में केवल कोकेशियान होंगे, और यह आवश्यक नहीं था।
  
• बच्चे हैं। मेरे जैसे निःसंतान पिता के लिए, सभी बच्चे एक चेहरे पर होते हैं। मैं पूरी तरह से मॉडल के साथ समझौता कर रहा हूं, जब वह सभी बच्चों को एक क्लस्टर में भेजती है - यह वास्तव में स्पष्ट नहीं है कि अधिकांश बच्चे कैसे भिन्न होते हैं! ;) लेकिन जिन लोगों के बच्चे हैं उनकी राय बिल्कुल अलग है। आमतौर पर वे आपके नेता भी होते हैं। या फिर अभी भी अजीब मान्यता त्रुटियां हैं जब बच्चे के सिर को कोहनी या गंजे व्यक्ति के सिर (सच्ची कहानी) के साथ सफलतापूर्वक तुलना की जाती है।
  
• चित्रित पात्रों के साथ क्या करना है यह आमतौर पर अस्पष्ट है। क्या मुझे उन्हें पहचानने की ज़रूरत है या नहीं?
  

कार्य के ऐसे पहलुओं की शुरुआत में पहचान करना बहुत महत्वपूर्ण है। इसलिए, आपको "डेटा पर" शुरुआत से ही प्रबंधक के साथ काम करने और संवाद करने की आवश्यकता है। मौखिक स्पष्टीकरण स्वीकार नहीं किया जा सकता है। डेटा को देखना आवश्यक है। यह उसी वितरण से वांछनीय है जिस पर मॉडल काम करेगा।

आदर्श रूप से, इस चर्चा की प्रक्रिया में, कुछ परीक्षण डेटासेट प्राप्त किए जाएंगे, जिस पर आप अंत में मॉडल चला सकते हैं और जांच सकते हैं कि यह प्रबंधक के रूप में काम करता है या नहीं। यह सलाह दी जाती है कि परीक्षण डेटासेट का हिस्सा प्रबंधक को स्वयं दिया जाए, ताकि आपके पास इसकी कोई पहुंच न हो। क्योंकि आप इस टेस्ट सेट पर आसानी से मुकर सकते हैं, आप एक ML डेवलपर हैं!

एमएल में एक कार्य सेट करना एक उत्पाद प्रबंधक और एमएल के एक विशेषज्ञ के बीच एक निरंतर काम है। यहां तक ​​कि अगर पहले आप कार्य को अच्छी तरह से सेट करते हैं, तो जैसे ही मॉडल विकसित होता है, अधिक से अधिक नई समस्याएं दिखाई देंगी, नई विशेषताएं जो आप अपने डेटा के बारे में जानेंगे। यह सब प्रबंधक के साथ लगातार चर्चा करने की आवश्यकता है। अच्छे प्रबंधक हमेशा अपनी एमएल टीमों को प्रसारित करते हैं कि उन्हें जिम्मेदारी लेने और प्रबंधक को कार्य निर्धारित करने में मदद करने की आवश्यकता है।

ऐसा क्यों? मशीन लर्निंग एक काफी नया क्षेत्र है। प्रबंधकों के पास ऐसे कार्यों का प्रबंधन करने के लिए (या बहुत कम) अनुभव नहीं है। नई समस्याओं को हल करने के लिए लोग कितनी बार सीखते हैं? गलतियों पर। यदि आप नहीं चाहते हैं कि आपकी पसंदीदा परियोजना गलती हो जाए, तो आपको इसमें शामिल होने और खुद की जिम्मेदारी लेने की ज़रूरत है, उत्पाद प्रबंधक को कार्य को सही ढंग से सेट करने, चेकलिस्ट और नीतियां विकसित करने के लिए सिखाना; यह सब बहुत मदद करता है। जब कोई नया दिलचस्प काम आता है, और हम इसे करने के लिए दौड़ते हैं, तो हर बार मैं खुद को खींच लेता हूं (या मेरे सहकर्मियों में से कोई मुझे खींचता है)। सब कुछ जो मैंने अभी आपको बताया है, मैं खुद को भूल गया हूं। इसलिए, अपने आप को जांचने के लिए किसी तरह की चेकलिस्ट होना जरूरी है।

डेटा

एमएल में डेटा सुपर महत्वपूर्ण है। गहन सीखने के लिए, आप मॉडल को जितना अधिक डेटा खिलाएंगे, उतना ही बेहतर होगा। ब्लू ग्राफ दिखाता है कि आमतौर पर डीप लर्निंग मॉडल में सुधार होता है जब डेटा जोड़ा जाता है।


और कुछ बिंदु से "पुराने" (शास्त्रीय) एल्गोरिदम अब सुधार नहीं कर सकते हैं।

आमतौर पर एमएल डेटासेट में गंदे होते हैं। वे ऐसे लोगों द्वारा चिह्नित किए गए थे जो हमेशा झूठ बोलते हैं। मूल्यांकनकर्ता अक्सर असावधान होते हैं और बहुत सारी गलतियाँ करते हैं। हम इस तकनीक का उपयोग करते हैं: हम अपने पास मौजूद डेटा को लेते हैं, उन पर मॉडल को प्रशिक्षित करते हैं, और फिर इस मॉडल की मदद से हम डेटा को साफ करते हैं और फिर से चक्र को दोहराते हैं।

आइए उसी चेहरे की पहचान के उदाहरण पर करीब से नज़र डालें। मान लें कि हमने VKontakte उपयोगकर्ता अवतार डाउनलोड किया है। उदाहरण के लिए, हमारे पास 4 अवतारों के साथ एक उपयोगकर्ता प्रोफ़ाइल है। हम उन चेहरों का पता लगाते हैं जो सभी 4 छवियों पर हैं और चेहरे की पहचान मॉडल के माध्यम से चलती हैं। इसलिए हम व्यक्तियों के एम्बेडिंग प्राप्त करते हैं, जिनकी सहायता से वे समान व्यक्तियों को समूहों (क्लस्टर) में "गोंद" कर सकते हैं। अगला, हम सबसे बड़े क्लस्टर का चयन करते हैं, यह मानते हुए कि उपयोगकर्ता के अवतार में मुख्य रूप से उसका चेहरा होता है। तदनुसार, हम इस तरह से अन्य सभी चेहरे (जो शोर कर रहे हैं) को साफ कर सकते हैं। उसके बाद, हम चक्र को फिर से दोहरा सकते हैं: साफ किए गए डेटा पर, मॉडल को प्रशिक्षित करें और डेटा को साफ करने के लिए इसका उपयोग करें। आप कई बार दोहरा सकते हैं।

लगभग हमेशा इस तरह के क्लस्टरिंग के लिए हम क्लिंक एल्गोरिदम का उपयोग करते हैं। यह एक पदानुक्रमित क्लस्टरिंग एल्गोरिथ्म है जिसमें "ग्लूइंग" समान वस्तुओं के लिए थ्रेशोल्ड मान सेट करना बहुत सुविधाजनक है (यह वास्तव में सफाई के लिए आवश्यक है)। क्लिंक गोलाकार क्लस्टर बनाता है। यह महत्वपूर्ण है, क्योंकि हम अक्सर इन एम्बेडों के मीट्रिक स्थान को सीखते हैं। एल्गोरिथ्म में O (n ² ) की जटिलता है, जो सिद्धांत रूप में, लगभग है।

कभी-कभी डेटा प्राप्त करना या चिह्नित करना इतना कठिन होता है कि जैसे ही आप इसे जनरेट करना शुरू करते हैं तो कुछ भी नहीं बचता है। जेनेरिक अप्रोच आपको भारी मात्रा में डेटा का उत्पादन करने की अनुमति देता है। लेकिन इसके लिए आपको कुछ प्रोग्राम करने की आवश्यकता है। सबसे सरल उदाहरण ओसीआर है, छवियों पर पाठ पहचान। इस कार्य के लिए पाठ का मार्कअप बेतहाशा महंगा और शोर है: आपको प्रत्येक पंक्ति और प्रत्येक शब्द को उजागर करने की आवश्यकता है, पाठ पर हस्ताक्षर करें और इसी तरह। मूल्यांकनकर्ता (मार्कअप लोग) एक बहुत लंबे समय के लिए सौ पृष्ठों का पाठ लेंगे, और प्रशिक्षण के लिए बहुत अधिक आवश्यक है। जाहिर है, आप किसी तरह पाठ को उत्पन्न कर सकते हैं और किसी तरह इसे "स्थानांतरित" कर सकते हैं ताकि मॉडल इससे सीख ले।

हमने अपने लिए पाया है कि इस कार्य के लिए सबसे अच्छा और सबसे सुविधाजनक टूलकिट PIL, OpenCV और Numpy का संयोजन है। पाठ के साथ काम करने के लिए उनके पास सब कुछ है। आप किसी भी तरह से पाठ के साथ छवि को जटिल कर सकते हैं ताकि नेटवर्क सरल उदाहरणों के लिए पीछे हट न जाए।



कभी-कभी हमें कुछ वास्तविक दुनिया की वस्तुओं की आवश्यकता होती है। उदाहरण के लिए, स्टोर अलमारियों पर सामान। इनमें से एक चित्र स्वतः उत्पन्न होता है। आपको लगता है कि बाएं या दाएं?



वास्तव में, दोनों उत्पन्न होते हैं। यदि आप छोटे विवरणों को नहीं देखते हैं, तो आप वास्तविकता से मतभेदों को नोटिस नहीं करेंगे। हम ब्लेंडर (3 डीएमएक्स का एनालॉग) का उपयोग करके ऐसा करते हैं।



मुख्य महत्वपूर्ण लाभ यह है कि यह खुला स्रोत है। इसमें एक उत्कृष्ट पायथन एपीआई है, जो आपको कोड में वस्तुओं को सीधे रखने की अनुमति देता है, प्रक्रिया को कॉन्फ़िगर और यादृच्छिक करता है और अंत में एक विविध डेटासेट प्राप्त करता है।

प्रतिपादन के लिए, किरण अनुरेखण का उपयोग किया जाता है। यह एक महंगी प्रक्रिया है, लेकिन यह उत्कृष्ट गुणवत्ता के साथ एक परिणाम पैदा करता है। सबसे महत्वपूर्ण सवाल: वस्तुओं के लिए मॉडल कहां से प्राप्त करें? एक नियम के रूप में, उन्हें खरीदा जाना चाहिए। लेकिन अगर आप एक गरीब छात्र हैं और किसी चीज़ के साथ प्रयोग करना चाहते हैं, तो हमेशा दुख होता है। यह स्पष्ट है कि उत्पादन के लिए आपको किसी से प्रस्तुत मॉडल खरीदने या ऑर्डर करने की आवश्यकता है।

यह सब डेटा के बारे में है। सीखने के लिए आगे बढ़ते हैं।

मैट्रिक की पढ़ाई

मैट्रिक लर्निंग का लक्ष्य नेटवर्क को प्रशिक्षित करना है ताकि यह एम्बेड किए गए मीट्रिक स्पेस में समान क्षेत्रों में समान वस्तुओं का अनुवाद करे। मैं फिर से उदाहरणों के साथ एक उदाहरण दूंगा, जो कि इसमें असामान्य है क्योंकि यह एक वर्गीकरण कार्य है, लेकिन दसियों हजारों वर्गों के लिए। ऐसा प्रतीत होता है, यहाँ मेट्रिक लर्निंग, जो एक नियम के रूप में, फेस रिकग्निशन जैसे कार्यों में उपयुक्त है? आइए इसे जानने की कोशिश करें।

यदि आप वर्गीकरण समस्या का प्रशिक्षण देते समय मानक नुकसान का उपयोग करते हैं, उदाहरण के लिए, सॉफ्टमैक्स, तो मीट्रिक स्पेस में कक्षाएं अच्छी तरह से अलग हो जाती हैं, लेकिन एम्बेडिंग स्पेस में, विभिन्न वर्गों के बिंदु एक-दूसरे के करीब हो सकते हैं ...



यह सामान्यीकरण के दौरान संभावित त्रुटियाँ पैदा करता है, जैसा कि स्रोत डेटा में मामूली अंतर वर्गीकरण परिणाम को बदल सकता है। हम वास्तव में अधिक कॉम्पैक्ट होने के बिंदुओं को पसंद करेंगे। इसके लिए, विभिन्न मीट्रिक सीखने की तकनीकों का उपयोग किया जाता है। उदाहरण के लिए, केंद्र की हानि, जिसका विचार बेहद सरल है: हम बस एक साथ प्रत्येक कक्षा के शिक्षण केंद्र की ओर इशारा करते हैं, जो अंततः अधिक कॉम्पैक्ट हो जाता है।



सेंटर लॉस को सचमुच पायथन में 10 लाइनों में क्रमादेशित किया गया है, यह बहुत जल्दी काम करता है, और सबसे महत्वपूर्ण बात यह है कि यह वर्गीकरण की गुणवत्ता में सुधार करता है, क्योंकि कॉम्पैक्टनेस बेहतर सामान्यीकरण क्षमता की ओर जाता है।

कोणीय सॉफ्टमैक्स

हमने कई अलग-अलग मीट्रिक सीखने के तरीकों की कोशिश की और इस नतीजे पर पहुंचे कि कोणीय सॉफ्टमैक्स सबसे अच्छे परिणाम पैदा करता है। अनुसंधान समुदाय के बीच, उन्हें कला की स्थिति भी माना जाता है।


आइए चेहरे की पहचान का एक उदाहरण देखें। यहां हमारे पास दो लोग हैं। यदि आप मानक सॉफ्टमैक्स का उपयोग करते हैं, तो दो वजन वाले वैक्टर के आधार पर उनके बीच एक विभाजन विमान तैयार किया जाएगा। यदि हम एम्बेडिंग मानदंड 1 बनाते हैं, तो अंक सर्कल पर झूठ होंगे, अर्थात। क्षेत्र में n- आयामी मामले में (दाईं ओर चित्र)।


फिर आप देख सकते हैं कि उनके बीच का कोण वर्गों के अलगाव के लिए पहले से ही जिम्मेदार है, और इसे अनुकूलित किया जा सकता है। लेकिन सिर्फ इतना ही काफी नहीं है। यदि हम सिर्फ कोण को अनुकूलित करने के लिए जाते हैं, तो कार्य वास्तव में नहीं बदलेगा, क्योंकि हमने इसे अन्य शब्दों में सरलता से सुधार लिया है। हमारा लक्ष्य, मुझे याद है, कि क्लस्टर को अधिक कॉम्पैक्ट बनाना है।

वर्गों के बीच एक बड़े कोण की मांग करना किसी तरह से आवश्यक है - तंत्रिका नेटवर्क के कार्य को जटिल करना। उदाहरण के लिए, इस तरह से कि वह सोचती है कि एक वर्ग के बिंदुओं के बीच का कोण वास्तविकता से बड़ा है, ताकि वह उन्हें अधिक से अधिक संपीड़ित करने की कोशिश करे। यह पैरामीटर मीटर की शुरुआत करके प्राप्त किया जाता है, जो कोणों के कोजाइन में अंतर को नियंत्रित करता है।



एंगुलर सॉफ्टमैक्स के लिए कई विकल्प हैं। वे सभी इस तथ्य से खेलते हैं कि इस कोण को m से गुणा करें या जोड़ें, या गुणा करें और जोड़ें। अत्याधुनिक - आर्कफेस।


वास्तव में, यह एक पाइपलाइन वर्गीकरण में एकीकृत करने के लिए काफी आसान है।



आइए जैक निकोलसन के उदाहरण को देखें। हम सीखने की प्रक्रिया में ग्रिड के माध्यम से उसकी तस्वीर चलाते हैं। हम एम्बेडिंग प्राप्त करते हैं, हम वर्गीकरण के लिए रैखिक परत के माध्यम से चलते हैं और हमें आउटपुट पर स्कोर मिलते हैं जो वर्ग से संबंधित डिग्री को दर्शाते हैं। इस मामले में, निकोलसन की तस्वीर की गति 20 है, जो सबसे बड़ा है। इसके अलावा, आर्कफेस के सूत्र के अनुसार, हम तंत्रिका नेटवर्क के लिए कार्य को जटिल करते हुए गति को 20 से घटाकर (केवल ग्राउंडट्रूथ वर्ग के लिए) कर देते हैं। फिर हम हमेशा की तरह सब कुछ करते हैं: सॉफ्टमैक्स + क्रॉस एंट्रॉपी।

कुल मिलाकर, सामान्य रैखिक परत को आर्कफैस परत से बदल दिया जाता है, जो 10 में नहीं, बल्कि 20 पंक्तियों में लिखी जाती है, लेकिन कार्यान्वयन के लिए उत्कृष्ट परिणाम और ओवरहेड का न्यूनतम लाभ देती है। नतीजतन, अधिकांश कार्यों के लिए आर्कफेस अन्य तरीकों से बेहतर है। यह पूरी तरह से वर्गीकरण कार्यों के साथ एकीकृत करता है और गुणवत्ता में सुधार करता है।

सीखने का स्थानांतरण

दूसरी बात जो मैं बात करना चाहता था, वह है ट्रांसफर लर्निंग - एक नए कार्य को फिर से करने के लिए एक समान कार्य पर एक पूर्व-प्रशिक्षित नेटवर्क का उपयोग करना। इस प्रकार, ज्ञान को एक कार्य से दूसरे कार्य में स्थानांतरित किया जाता है।

हमने छवियों पर अपनी खोज की। कार्य का सार छवि (क्वेरी) में डेटाबेस से शब्दार्थ समान रूप से उत्पन्न करना है।



एक नेटवर्क लेना तर्कसंगत है जो पहले से ही बड़ी संख्या में छवियों पर अध्ययन कर चुका है - इमेजनेट या ओपनइमेज डेटासेट पर, जिसमें लाखों चित्र हैं, और हमारे डेटा पर ट्रेन करते हैं।



हमने चित्रों और उपयोगकर्ता क्लिकों की समानता के आधार पर इस कार्य के लिए डेटा एकत्र किया और 200k कक्षाएं प्राप्त कीं। ArFace के साथ प्रशिक्षण के बाद, हमें निम्नलिखित परिणाम मिला।



ऊपर की तस्वीर में, हम देखते हैं कि अनुरोध किए गए श्रोणि के लिए, गौरैया भी इस मुद्दे पर पहुंच गई। यानी एम्बेडिंग शब्दशः सत्य है - यह एक पक्षी है, लेकिन नस्लीय रूप से बेवफा है। सबसे कष्टप्रद बात यह है कि जिस मूल मॉडल के साथ हम पीछे हट गए, वह इन वर्गों को जानता था और उन्हें पूरी तरह से अलग करता था। यहां हम उस प्रभाव को देखते हैं जो सभी तंत्रिका नेटवर्क के लिए सामान्य है, जिसे भयावह भूल कहा जाता है। यही है, रिट्रीटिंग के दौरान, नेटवर्क पिछले कार्य को भूल जाता है, कभी-कभी पूरी तरह से भी। यह वही है जो इस कार्य को बेहतर गुणवत्ता प्राप्त करने से रोकता है।

ज्ञान आसवन

यह ज्ञान आसवन नामक एक तकनीक का उपयोग करके व्यवहार किया जाता है, जब एक नेटवर्क दूसरे को सिखाता है और "अपने ज्ञान को इसमें स्थानांतरित करता है"। यह कैसा दिखता है (नीचे दी गई तस्वीर में पूर्ण प्रशिक्षण पाइपलाइन)।



हमारे पास पहले से ही आर्कफेस के साथ एक परिचित वर्गीकरण पाइपलाइन है। याद रखें कि हमारे पास एक नेटवर्क है जिसके साथ हम ढोंग करते हैं। हम इसे फ्रीज करते हैं और बस उन सभी तस्वीरों में इसकी एम्बेडिंग की गणना करते हैं जिसमें हम अपना नेटवर्क सीखते हैं, और ओपनइमेज क्लासेस की कक्षाएं प्राप्त करते हैं: पेलिकन, स्पैरो, कार, लोग, आदि ... हम मूल प्रशिक्षित नियोनेट नेटवर्क से उबरते हैं और कक्षाओं के लिए एक और एम्बेडिंग सीखते हैं। OpenImages, जो समान स्कोर का उत्पादन करता है। BCE के साथ, हम नेटवर्क को इन अंकों के समान वितरण का उत्पादन करते हैं। इस प्रकार, एक ओर, हम एक नया कार्य सीख रहे हैं (चित्र के शीर्ष पर), लेकिन हम यह भी बनाते हैं कि नेटवर्क अपनी जड़ों को न भूलें (सबसे नीचे) - उन कक्षाओं को याद रखें जिन्हें वह जानता था। यदि आप 50/50 के सशर्त अनुपात में ग्रेडिएंट्स को सही ढंग से संतुलित करते हैं, तो यह शीर्ष में सभी पेलिकन को छोड़ देगा और वहां से सभी गौरैया बाहर फेंक देगा।



जब हमने इसे लागू किया, तो हमें एमएपी में एक पूर्ण प्रतिशत मिला। यह काफी है।


इसलिए यदि आपका नेटवर्क पिछले कार्य को भूल जाता है, तो ज्ञान आसवन का उपयोग करके इलाज करें - यह ठीक काम करता है।

अतिरिक्त प्रमुख

मूल विचार बहुत सरल है। फिर से फेस रिकॉग्निशन के उदाहरण पर। हमारे पास डाटासेट में लोगों का एक सेट है। लेकिन अक्सर डेटासेट में भी चेहरे की अन्य विशेषताएं होती हैं। उदाहरण के लिए, कितना पुराना, आंखों का रंग, आदि। यह सब एक और ऐड के रूप में जोड़ा जा सकता है। संकेत: इस डेटा की भविष्यवाणी करने के लिए अलग-अलग सिर सिखाएं। इस प्रकार, हमारे नेटवर्क को अधिक विविध संकेत प्राप्त होता है, और परिणामस्वरूप, मुख्य कार्य सीखना बेहतर हो सकता है।



एक और उदाहरण: कतार का पता लगाना।



अक्सर लोगों के साथ डेटासेट में, शरीर के अलावा, सिर की स्थिति का एक अलग अंकन होता है, जो स्पष्ट रूप से इस्तेमाल किया जा सकता है। इसलिए, हमने नेटवर्क को व्यक्ति के बाउंडिंग बॉक्स की भविष्यवाणी और हेड के बाउंडिंग बॉक्स की भविष्यवाणी के साथ जोड़ा, और हमें सटीकता (एमएपी) में 0.5% की वृद्धि हुई, जो सभ्य है। और सबसे महत्वपूर्ण बात - प्रदर्शन के मामले में मुफ्त, क्योंकि उत्पादन पर, अतिरिक्त सिर "डिस्कनेक्ट" है।

ओसीआर

एक अधिक जटिल और दिलचस्प मामला ओसीआर है, जो पहले ही ऊपर उल्लेखित है। मानक पाइपलाइन की तरह है।



एक पेंगुइन के साथ एक पोस्टर हो, उस पर पाठ लिखा हो। डिटेक्शन मॉडल का उपयोग करते हुए, हम इस पाठ को उजागर करते हैं। इसके अलावा, हम इस पाठ को मान्यता मॉडल के इनपुट के लिए फ़ीड करते हैं, जो मान्यता प्राप्त पाठ का उत्पादन करता है। मान लीजिए कि हमारा नेटवर्क गलत है और पेंगुइन के बजाय "i" शब्द "l" की भविष्यवाणी करता है। यह वास्तव में ओसीआर में एक बहुत ही आम समस्या है जब नेटवर्क समान वर्णों को भ्रमित करता है। सवाल यह है कि इससे कैसे बचें - पेंगुलन्स का पेंगुइन में अनुवाद करें? जब कोई व्यक्ति इस उदाहरण को देखता है, तो यह उसके लिए स्पष्ट है कि यह एक गलती है, क्योंकि उसे भाषा की संरचना का ज्ञान है। इसलिए, भाषा में पात्रों और शब्दों के वितरण के बारे में ज्ञान मॉडल में एम्बेड किया जाना चाहिए।

हमने इसके लिए BPE (बाइट-पेयर एन्कोडिंग) नामक चीज का इस्तेमाल किया। यह एक संपीड़न एल्गोरिथ्म है जिसे आमतौर पर 90 के दशक में मशीन सीखने के लिए वापस आविष्कार किया गया था, लेकिन अब यह बहुत लोकप्रिय है और गहन सीखने में उपयोग किया जाता है। एल्गोरिथ्म का अर्थ यह है कि पाठ में अक्सर होने वाली अनुवर्ती घटनाओं को नए पात्रों के साथ बदल दिया जाता है। मान लीजिए कि हमारे पास स्ट्रिंग "आबदाबाक" है, और हम इसके लिए बीपीई प्राप्त करना चाहते हैं। हम पाते हैं कि अक्षर "आ" की जोड़ी हमारे शब्द में सबसे अधिक है। हम इसे एक नए चरित्र "Z" से बदलते हैं, हम स्ट्रिंग "ZabdZabac" प्राप्त करते हैं। हम पुनरावृत्ति को दोहराते हैं: हम देखते हैं कि एब सबसे अधिक बाद का क्रम है, इसे "वाई" से बदल दें, हमें स्ट्रिंग "ZYdZYac" मिलता है। अब "ZY" सबसे बाद में आने वाला है, हम इसे "X" से बदल देते हैं, हमें "XDXac" मिलता है। इस प्रकार, हम पाठ के वितरण में कुछ सांख्यिकीय निर्भरताओं को कूटबद्ध करते हैं। अगर हम एक ऐसे शब्द के बारे में जानते हैं जिसमें बहुत "अजीब" (शिक्षण कोर के लिए दुर्लभ) बाद के शब्द हैं, तो यह शब्द संदेहास्पद है।

aaabdaaabac
ZabdZabac Z=aa
ZY d ZY ac Y=ab
X d X ac X=ZY

यह सब कैसे मान्यता में फिट बैठता है।



हमने "पेंगुइन" शब्द पर प्रकाश डाला, इसे कन्वेन्शनल न्यूरल नेटवर्क में भेजा, जिसने स्थानिक एम्बेडिंग (एक निश्चित-लंबाई वाला वेक्टर, उदाहरण के लिए 512) का उत्पादन किया। यह वेक्टर स्थानिक प्रतीक जानकारी को एन्कोड करता है। अगला, हम एक पुनरावृत्ति नेटवर्क का उपयोग करते हैं (UPD: वास्तव में, हम पहले से ही ट्रांसफॉर्मर मॉडल का उपयोग करते हैं), यह कुछ छिपे हुए राज्यों (हरी सलाखों) को बाहर निकालता है, जिनमें से प्रत्येक में संभावना वितरण को सीवन किया जाता है - जो, मॉडल के अनुसार, एक विशिष्ट स्थिति में प्रतीक को दर्शाया गया है। फिर, सीटीसी-लॉस का उपयोग करते हुए, हम इन राज्यों को खोलते हैं और पूरे शब्द के लिए अपनी भविष्यवाणी प्राप्त करते हैं, लेकिन एक त्रुटि के साथ: एल मैं के स्थान पर।



अब पाइपलाइन में बीपीई को एकीकृत करना। हम अलग-अलग वर्णों की भविष्यवाणी करने से शब्दों से दूर होना चाहते हैं, इसलिए हम उन राज्यों से शाखाएं बंद कर देते हैं जिनमें वर्णों के बारे में जानकारी होती है और उन पर एक और पुनरावर्ती नेटवर्क स्थापित किया जाता है; वह बीपीई की भविष्यवाणी करती है। ऊपर वर्णित त्रुटि के मामले में, 3 बीपीई प्राप्त किए जाते हैं: "पेंग", "उल", "एनएस"। यह पेंगुइन शब्द के लिए सही अनुक्रम से काफी भिन्न है, अर्थात, पेन, गु, इन्स। यदि आप इसे मॉडल प्रशिक्षण के दृष्टिकोण से देखते हैं, तो, चरित्र-दर-शब्द भविष्यवाणी में, नेटवर्क ने आठ में से केवल एक अक्षर में गलती की (12.5% ​​त्रुटि); और बीपीई के संदर्भ में, वह सभी 3 बीपीई को गलत तरीके से भविष्यवाणी करने में 100% गलत था। यह नेटवर्क के लिए एक बहुत बड़ा संकेत है कि कुछ गलत हो गया है और आपको अपने व्यवहार को ठीक करने की आवश्यकता है। जब हमने इसे लागू किया, तो हम इस तरह की त्रुटियों को ठीक करने में सक्षम थे और वर्ड एरर रेट को 0.25% कम कर दिया - यह बहुत कुछ है। जब प्रशिक्षण में अपनी भूमिका को पूरा करता है, तो यह अतिरिक्त सिर हटा दिया जाता है।

FP16

आखिरी बात मैं प्रशिक्षण के बारे में कहना चाहता था एफपी 16। ऐसा ऐतिहासिक रूप से हुआ कि नेटवर्क को GPU पर यूनिट सटीकता, यानी FP32 में प्रशिक्षित किया गया था। लेकिन यह बेमानी है, विशेष रूप से अनुमान के लिए, जहां गुणवत्ता की हानि के बिना आधा सटीकता (FP16) पर्याप्त है। हालांकि, प्रशिक्षण के मामले में ऐसा नहीं है।



यदि हम ग्रेडिएंट्स के वितरण को देखते हैं, तो त्रुटियों को प्रचारित करते समय हमारे वजन को अपडेट करने वाली जानकारी, हम देखेंगे कि शून्य पर एक विशाल शिखर है। और सामान्य तौर पर, बहुत सारे मूल्य शून्य के पास हैं। यदि हम सभी वज़न को FP16 में स्थानांतरित करते हैं, तो यह पता चलता है कि हमने शून्य के क्षेत्र में बाईं ओर काट दिया (लाल रेखा से)।



यही है, हम बहुत बड़ी संख्या में ग्रेडिएंट रीसेट करेंगे। और सही हिस्सा, FP16 वर्किंग रेंज में, इसका उपयोग बिल्कुल नहीं किया जाता है। नतीजतन, यदि आप एफपी 16 पर माथे को प्रशिक्षित करते हैं, तो प्रक्रिया फैलने की संभावना है (नीचे दी गई तस्वीर में ग्रे ग्राफ)।



यदि आप मिश्रित सटीक तकनीक का उपयोग करके प्रशिक्षित करते हैं, तो परिणाम FP32 के समान है। मिश्रित परिशुद्धता दो चालों को लागू करती है।

पहला: हम उदाहरण के लिए, एक स्थिरांक द्वारा केवल हानि को गुणा करते हैं। 128. इस प्रकार, हम सभी ग्रेडिएंट को स्केल करते हैं, और उनके मानों को शून्य से FP16 वर्किंग रेंज में ले जाते हैं। दूसरा: हम एफपी 32 शेष के मास्टर संस्करण को संग्रहीत करते हैं, जिसका उपयोग केवल अपडेट करने के लिए किया जाता है, और आगे और पीछे के पास नेटवर्क की गणना के संचालन में, केवल एफपी 16 का उपयोग किया जाता है।

हम Pytorch का उपयोग नेटवर्क को प्रशिक्षित करने के लिए करते हैं। NVIDIA ने इसके लिए एक विशेष संयोजन तथाकथित APEX के साथ बनाया, जो ऊपर वर्णित तर्क को लागू करता है। उसके पास दो तरीके हैं। पहली स्वचालित मिश्रित परिशुद्धता है। नीचे दिए गए कोड को देखें कि यह उपयोग करना कितना आसान है।



प्रशिक्षण कोड में शाब्दिक रूप से दो लाइनें जोड़ी जाती हैं जो मॉडल और ऑप्टिमाइज़र के नुकसान और प्रारंभिक प्रक्रिया को लपेटती हैं। AMP क्या करता है? वह सभी कार्य करता है। वास्तव में क्या चल रहा है? उदाहरण के लिए, वह देखता है कि एक दीक्षांत समारोह है, और वह FP16 से लाभ प्राप्त करता है। फिर वह इसे अपने स्वयं के साथ बदल देता है, जो पहले FP16 में डाली जाती है, और फिर एक कनवल्शन ऑपरेशन करती है। तो एएमपी उन सभी कार्यों के लिए करता है जो नेटवर्क पर उपयोग किए जा सकते हैं। कुछ के लिए, यह नहीं है कोई त्वरण नहीं होगा। अधिकांश कार्यों के लिए, यह विधि उपयुक्त है।

दूसरा विकल्प: पूर्ण नियंत्रण के प्रशंसकों के लिए FP16 अनुकूलक। उपयुक्त यदि आप स्वयं निर्दिष्ट करना चाहते हैं कि कौन सी परतें एफपी 16 में होंगी और कौन सी एफपी 32 में। लेकिन इसकी कई सीमाएँ और कठिनाइयाँ हैं। यह एक आधा किक से शुरू नहीं होता है (इसे शुरू करने के लिए कम से कम हमें पसीना बहाना पड़ता था)। इसके अलावा FP_optimizer केवल एडम के साथ काम करता है, और फिर भी केवल उस एडम के साथ, जो अपेक्स में है (हाँ, उनके पास रिपॉजिटरी में अपना स्वयं का एडम है, जिसमें Paytorch की तुलना में पूरी तरह से अलग इंटरफ़ेस है)।

टेस्ला टी 4 कार्ड पर सीखते समय हमने एक तुलना की।



Inference में, हमारे पास दो बार अपेक्षित त्वरण है। प्रशिक्षण में, हम देखते हैं कि एपेक्स फ्रेमवर्क अपेक्षाकृत सरल एफपी 16 के साथ 20% त्वरण प्रदान करता है। नतीजतन, हमें एक कसरत मिलती है जो दो बार तेज होती है और 2 गुना कम मेमोरी का उपभोग करती है, और प्रशिक्षण की गुणवत्ता किसी भी तरह से पीड़ित नहीं होती है। नि: शुल्क सेवाएं।

अनुमान

क्योंकि चूंकि हम PyTorch का उपयोग करते हैं, इसलिए सवाल यह है कि उत्पादन में इसे कैसे तैनात किया जाए।


इसे करने के लिए 3 विकल्प हैं (और उन सभी का हमने उपयोग किया है)

• ओएनएनएक्स -> कैफ 2
• ONNX -> TensorRT
• और हाल ही में पाइटोरेक सी ++

आइए उनमें से प्रत्येक को देखें।

ONNX और Caffe2

ONNX 1.5 साल पहले दिखाई दिया था। यह विभिन्न फ्रेमवर्क के बीच मॉडल को परिवर्तित करने के लिए एक विशेष ढांचा है। और कैफ 2, पाईटोर से सटे एक फ्रेमवर्क है, जो दोनों फेसबुक पर विकसित किए जा रहे हैं। ऐतिहासिक रूप से, Pytorch Caffe2 की तुलना में बहुत तेजी से विकसित हो रहा है। Caffe2 सुविधाओं में Pytorch से पीछे रह जाता है, इसलिए Pytorch में आपके द्वारा प्रशिक्षित प्रत्येक मॉडल को Caffe2 में नहीं बदला जा सकता है। अक्सर आपको अन्य परतों के साथ भरोसा करना पड़ता है। उदाहरण के लिए, Caffe2 में निकटतम पड़ोसी प्रक्षेप के साथ अपसंस्कृति जैसी कोई मानक प्रक्रिया नहीं है। नतीजतन, हम इस निष्कर्ष पर पहुंचे कि प्रत्येक मॉडल के लिए हमें एक विशेष डॉकटर छवि मिली है, जिसमें हम अपने भविष्य के अपडेट के दौरान विसंगतियों से बचने के लिए नाखूनों के साथ फ्रेमवर्क संस्करणों को नाखून देते हैं, ताकि जब किसी एक संस्करण को फिर से अपडेट किया जाए, तो हम उनकी अनुकूलता के लिए समय बर्बाद न करें। । यह सब बहुत सुविधाजनक नहीं है और तैनाती प्रक्रिया को लंबा करता है।

टेंसर आर.टी.

Tensor RT भी है, एक NVIDIA फ्रेमवर्क जो नेटवर्क आर्किटेक्चर को अनुमान में तेजी लाने के लिए अनुकूलित करता है। हमने अपने माप किए (टेस्ला टी 4 मानचित्र पर)।


यदि आप रेखांकन को देखते हैं, तो आप देख सकते हैं कि FP32 से FP16 में संक्रमण, Pytorch पर 2x त्वरण देता है, और TensorRT एक ही समय में अधिक से अधिक 4x देता है। बहुत महत्वपूर्ण अंतर। हमने टेस्ला टी 4 पर इसका परीक्षण किया, जिसमें टेनर कर्नेल हैं जो एफपी 16 गणनाओं का बहुत अच्छा उपयोग करते हैं, जो कि स्पष्ट रूप से टेन्सरआरटी ​​में उत्कृष्ट है। इसलिए, यदि दर्जनों ग्राफिक्स कार्ड पर एक अत्यधिक लोड मॉडल चल रहा है, तो तेंसोर आरटी की कोशिश करने के लिए सभी प्रेरक हैं।

हालांकि, जब TensorRT के साथ काम करते हैं तो Caffe2 की तुलना में और भी अधिक दर्द होता है: इसमें परतें भी कम समर्थित होती हैं। दुर्भाग्य से, हर बार जब हम इस ढांचे का उपयोग करते हैं, तो हमें मॉडल को बदलने के लिए थोड़ा कष्ट उठाना पड़ता है। लेकिन भारी लोड वाले मॉडल के लिए, आपको यह करना होगा। ;) मैं ध्यान देता हूं कि दसियों गुठली के बिना नक्शे में इस तरह की भारी वृद्धि नहीं देखी गई है।

पाइटरच C ++

और सबसे आखिरी में Pytorch C ++ है। छह महीने पहले, पाइटोर डेवलपर्स ने अपने ढांचे का उपयोग करने वाले लोगों के दर्द को महसूस किया और टॉर्स्क्रिप्ट ट्यूटोरियल जारी किया, जो आपको अनावश्यक इशारों (जेआईटी) के बिना एक स्थिर ग्राफ में पायथन मॉडल का पता लगाने और अनुक्रमित करने की अनुमति देता है। यह दिसंबर 2018 में जारी किया गया था, हमने तुरंत इसका उपयोग करना शुरू कर दिया, तुरंत कुछ प्रदर्शन कीड़े पकड़े और चिन्टला से फिक्सेशन के लिए कई महीनों तक इंतजार किया। लेकिन अब यह एक काफी स्थिर तकनीक है, और हम इसे सभी मॉडलों के लिए सक्रिय रूप से उपयोग कर रहे हैं। एकमात्र चीज प्रलेखन की कमी है, जिसे सक्रिय रूप से पूरक किया जा रहा है। बेशक, आप हमेशा * .h फ़ाइलों को देख सकते हैं, लेकिन जो लोग प्लसस को नहीं जानते हैं, उनके लिए यह कठिन है। लेकिन फिर पायथन के साथ वास्तव में समान काम है। सी ++ में, जे-कोड एक न्यूनतम पायथन इंटरप्रेटर पर चलाया जाता है, जो व्यावहारिक रूप से पायथन के साथ सी ++ की पहचान की गारंटी देता है।

निष्कर्ष

• समस्या का कथन अति महत्वपूर्ण है। आपको डेटा पर उत्पाद प्रबंधकों के साथ संवाद करना होगा। इससे पहले कि आप कार्य करना शुरू करें, एक तैयार परीक्षण सेट होना उचित है, जिस पर हम कार्यान्वयन चरण से पहले अंतिम मैट्रिक्स को मापते हैं।
  
• हम क्लस्टरिंग की मदद से डेटा को स्वयं साफ करते हैं। हम स्रोत डेटा पर मॉडल प्राप्त करते हैं, क्लिंक क्लस्टरिंग का उपयोग करके डेटा को साफ करते हैं, और अभिसरण तक प्रक्रिया को दोहराते हैं।
  
• मीट्रिक सीखने: यहां तक ​​कि वर्गीकरण से भी मदद मिलती है। अत्याधुनिक - आर्कफेस, जिसे सीखने की प्रक्रिया में एकीकृत करना आसान है।
  
• यदि आप पूर्व-प्रशिक्षित नेटवर्क से ट्रांसफर लर्निंग करते हैं, तो इसलिए कि नेटवर्क पुराने कार्य को न भूलें, ज्ञान आसवन का उपयोग करें।
  
• यह कई नेटवर्क हेड का उपयोग करने के लिए भी उपयोगी है जो मुख्य कार्य को बेहतर बनाने के लिए डेटा से विभिन्न संकेतों का उपयोग करेगा।
  
• FP16 के लिए, आपको NVIDIA, Pytorch से एपेक्स असेंबली का उपयोग करने की आवश्यकता है।
  
• और अनुमान लगाने पर यह Pytorch C ++ का उपयोग करने के लिए सुविधाजनक है।