मैं देखता हूं, इसका मतलब है कि मेरा अस्तित्व है: कंप्यूटर विजन में गहन अध्ययन की समीक्षा (भाग 1)

कंप्यूटर दृष्टि। अब वे इसके बारे में बहुत बात करते हैं, जहां इसे लागू किया जाता है और बहुत कुछ लागू किया जाता है। और कुछ समय पहले सीवी पर हैबे पर आर्किटेक्चर और आधुनिक कार्यों के उदाहरणों के साथ कोई समीक्षा लेख नहीं थे। लेकिन उनमें से बहुत सारे हैं, और वे वास्तव में अच्छे हैं! यदि आप अब कंप्यूटर विज़न में जो कुछ भी कर रहे हैं उसमें रुचि रखते हैं, न केवल अनुसंधान और लेखों के दृष्टिकोण से, बल्कि लागू समस्याओं के दृष्टिकोण से भी, तो आपका स्वागत है बिल्ली से। इसके अलावा, लेख उन लोगों के लिए एक अच्छा परिचय हो सकता है जो लंबे समय से यह सब समझना शुरू करना चाहते थे, लेकिन कुछ इस तरह से था;)



आज PhysTech में "अकादमी" और औद्योगिक भागीदारों का एक सक्रिय सहयोग है। विशेष रूप से, इस तरह की कंपनियों से Sberbank, Biocad, 1C, Tinkoff, MTS, Huawei के रूप में कई दिलचस्प प्रयोगशालाओं में से एक है PhysTech स्कूल ऑफ एप्लाइड मैथमेटिक्स एंड कंप्यूटर साइंस ।

VkusVill द्वारा खोली गई हाइब्रिड इंटेलिजेंट सिस्टम्स की प्रयोगशाला में काम करके मुझे यह लेख लिखने की प्रेरणा मिली । प्रयोगशाला का एक महत्वाकांक्षी कार्य है - एक स्टोर का निर्माण करना जो बिना कैश डेस्क के काम करता है, मुख्य रूप से कंप्यूटर विज़न की मदद से। लगभग एक वर्ष के काम के लिए, मुझे दृष्टि के कई कार्यों पर काम करने का अवसर मिला, जिसकी चर्चा इन दो भागों में की जाएगी।


हम योजना के अनुसार आगे बढ़ेंगे:

1. प्रेरणा और क्या चल रहा है
2. जीवन शैली के रूप में वर्गीकरण
3. संवादी तंत्रिका नेटवर्क आर्किटेक्चर: एक लक्ष्य को प्राप्त करने के 1000 तरीके
4. दृढ़ तंत्रिका नेटवर्क का दृश्य: मुझे जुनून दिखाओ
5. मैं खुद एक प्रकार का सर्जन हूं: हम तंत्रिका नेटवर्क से विशेषताएं निकालते हैं
6. पास रहें: लोगों और व्यक्तियों के लिए प्रतिनिधित्व सीखना
7. भाग 2: पता लगाना, आसन का मूल्यांकन करना और बिगाड़ने के बिना कार्यों को पहचानना

प्रेरणा और क्या चल रहा है

2019 में, हर कोई कृत्रिम बुद्धिमत्ता, चौथी औद्योगिक क्रांति और मानव जाति के एक विलक्षणता के दृष्टिकोण के बारे में बात कर रहा है। कूल, कूल, लेकिन मुझे बारीकियां चाहिए। आखिरकार, हम उत्सुक तकनीकी विशेषज्ञ हैं जो एआई के बारे में परियों की कहानियों में विश्वास नहीं करते हैं, हम कार्यों, गणित और प्रोग्रामिंग की औपचारिक सेटिंग में विश्वास करते हैं। इस अनुच्छेद में, हम बहुत आधुनिक एआई का उपयोग करने के विशिष्ट मामलों के बारे में बात करेंगे - विभिन्न प्रकार के कंप्यूटर विज़न कार्यों में गहन शिक्षण (अर्थात्, प्रासंगिक तंत्रिका नेटवर्क) का उपयोग।

हां, हम विशेष रूप से ग्रिड के बारे में बात करेंगे, कभी-कभी "शास्त्रीय" दृश्य से कुछ विचारों का उल्लेख करते हैं (हम दृष्टि में तरीकों के सेट को कहेंगे जो तंत्रिका नेटवर्क से पहले उपयोग किए गए थे, लेकिन इसका कोई मतलब नहीं है कि वे अब उपयोग नहीं किए जाते हैं)।



मेरी राय में, दृष्टि में तंत्रिका नेटवर्क का पहला वास्तव में दिलचस्प अनुप्रयोग, जो 1993 में मीडिया में वापस कवर किया गया था, जन LeCun द्वारा लिखावट मान्यता है । अब वह फेसबुक एआई रिसर्च में मुख्य एआई में से एक है, उनकी टीम ने पहले से ही बहुत सारे ओपन सोर्स सामान उपयोगी जारी किए हैं।

आज, कई क्षेत्रों में दृष्टि का उपयोग किया जाता है। मैं सिर्फ कुछ आकर्षक उदाहरण दूंगा:

टेस्ला और यैंडेक्स मानव रहित वाहन

चिकित्सा इमेजिंग विश्लेषण और कैंसर की भविष्यवाणी

गेम कंसोल: Kinect 2.0 (हालाँकि इसमें गहन जानकारी का उपयोग किया गया है, अर्थात RGB-D चित्र)

चेहरा पहचान: ऐप्पल फेसआईडी (कई सेंसर का उपयोग करके)

फेस पॉइंट रेटिंग: स्नैपचैट मास्क

चेहरे और आंखों की गति की बायोमेट्री ( FPMI MIPT की परियोजना से एक उदाहरण)

छवि द्वारा खोजें: Yandex और Google

चित्र में पाठ की मान्यता ( ऑप्टिकल कैरेक्टर मान्यता )

ड्रोन और रोबोट: दृष्टि के माध्यम से सूचना प्राप्त करना और प्रसंस्करण करना


ओडोमेट्री : रोबोट को स्थानांतरित करते समय एक नक्शा और योजना बनाना

वीडियो गेम में ग्राफिक्स और बनावट में सुधार

चित्र अनुवाद: यांडेक्स और गूगल

संवर्धित वास्तविकता: लीप मोशन (प्रोजेक्ट नॉर्थ स्टार) और माइक्रोसॉफ्ट होलोलेंस

शैली और बनावट स्थानांतरण: प्रिज्मा , PicsArt

कंपनियों के विभिन्न आंतरिक कार्यों में कई अनुप्रयोगों का उल्लेख नहीं करना। उदाहरण के लिए, फेसबुक मीडिया सामग्री को फ़िल्टर करने के लिए विज़न का भी उपयोग करता है। कंप्यूटर दृष्टि विधियों का उपयोग उद्योग में गुणवत्ता / क्षति परीक्षण में भी किया जाता है ।

यहां संवर्धित वास्तविकता को वास्तव में, विशेष ध्यान दिया जाना चाहिए, क्योंकि यह निकट भविष्य में काम नहीं करता है , यह दृष्टि के आवेदन के मुख्य क्षेत्रों में से एक बन सकता है।

प्रेरित। प्रभार। आइए जाने:

जीवन शैली के रूप में वर्गीकरण

जैसा कि मैंने कहा, 90 के दशक में, नेट को दृष्टि से निकाल दिया गया था। और उन्होंने एक विशिष्ट कार्य में गोली मार दी - हस्तलिखित संख्याओं (प्रसिद्ध MNIST डेटासेट ) की तस्वीरों को वर्गीकृत करने का कार्य। ऐतिहासिक रूप से, यह छवियों को वर्गीकृत करने का कार्य था जो दृष्टि में लगभग सभी कार्यों को हल करने का आधार बन गया। एक विशिष्ट उदाहरण पर विचार करें:

टास्क : तस्वीरों के साथ एक फ़ोल्डर प्रवेश द्वार पर दिया जाता है, प्रत्येक फोटो में एक विशेष वस्तु होती है: या तो एक बिल्ली, या एक कुत्ता, या एक व्यक्ति (भले ही "कचरा" तस्वीरें न हों, यह एक सुपर-गैर-महत्वपूर्ण कार्य है, लेकिन आपको कहीं शुरू करने की आवश्यकता है)। आपको चित्रों को तीन फ़ोल्डरों में विघटित करने की आवश्यकता है: /cats , /dogs और /leather_bags /humans , प्रत्येक फ़ोल्डर में संबंधित वस्तुओं के साथ केवल फोटो रखने।





कल्पना करें कि हम अभी तक कंप्यूटर की दृष्टि से परिचित नहीं हैं, लेकिन हम मशीन लर्निंग को जानते हैं। कंप्यूटर की मेमोरी में इमेजेस केवल संख्यात्मक टेंसर होते हैं। हम मशीन सीखने के संदर्भ में कार्य को औपचारिक रूप देते हैं: ऑब्जेक्ट चित्र हैं, उनके संकेत पिक्सेल में मान हैं, प्रत्येक ऑब्जेक्ट के लिए उत्तर एक क्लास लेबल (बिल्ली, कुत्ता या व्यक्ति) है। यह एक शुद्ध वर्गीकरण कार्य है ।


आप "शास्त्रीय" दृश्य या "शास्त्रीय" मशीन सीखने से कुछ तरीके ले सकते हैं, जो कि एक तंत्रिका नेटवर्क नहीं है। मूल रूप से, इन विधियों में कुछ विशेषताओं (विशेष बिंदुओं) या स्थानीय क्षेत्रों की छवि पर प्रकाश डाला गया है जो चित्र की विशेषता होगी (" दृश्य शब्दों का बैग ")। आमतौर पर यह सब कुछ HOG / SIFT पर SVM की तरह उबलता है।

लेकिन हम यहां तंत्रिका नेटवर्क के बारे में बात करने के लिए एकत्र हुए हैं, इसलिए हम अपने द्वारा खोजे गए संकेतों का उपयोग नहीं करना चाहते हैं, लेकिन चाहते हैं कि नेटवर्क हमारे लिए सब कुछ कर दे। हमारा क्लासिफायर एक ऑब्जेक्ट के संकेतों को इनपुट के रूप में लेगा और एक भविष्यवाणी (क्लास लेबल) लौटाएगा। यहां, पिक्सेल में तीव्रता मान संकेत के रूप में कार्य करते हैं (चित्र मॉडल देखें)
बिगाड़ने वाला)। याद रखें कि एक तस्वीर एक आकार के टेंसर (ऊंचाई, चौड़ाई, 3) (यदि यह रंग है)। ग्रिड में प्रवेश करना सीखते समय, यह सब आम तौर पर एक चित्र द्वारा नहीं बल्कि पूरे डेटासेट द्वारा, बल्कि बैचों द्वारा किया जाता है, अर्थात। वस्तुओं के छोटे भागों में (उदाहरण के लिए, बैच में 64 चित्र)।

इस प्रकार, नेटवर्क को आकार (BATCH_SIZE, H, W, 3) का एक इनपुट टेंसर प्राप्त होता है। आप H * W * 3 नंबरों की एक वेक्टर लाइन में प्रत्येक चित्र का "विस्तार" कर सकते हैं और पिक्सेल में मूल्यों के साथ काम कर सकते हैं जैसे कि मशीन लर्निंग में संकेत के साथ, एक नियमित बहुपरत पर्सेप्ट्रॉन (एमएलपी) बस यही करेगा, लेकिन ईमानदारी से, यह पसंद है बेस लाइन, चूंकि वेक्टर पंक्ति के रूप में पिक्सेल के साथ काम करना ध्यान में नहीं आता है, उदाहरण के लिए, चित्र में ऑब्जेक्ट्स के ट्रांसलेशनल इनवेरियन। एक ही बिल्ली तस्वीर के बीच में हो सकती है, और कोने में, एमएलपी इस पैटर्न को नहीं सीखेंगे।

तो आपको कुछ चालाक की आवश्यकता है, उदाहरण के लिए, एक दृढ़ संकल्प ऑपरेशन। और यह आधुनिक दृष्टि के बारे में है, दृढ़ तंत्रिका नेटवर्क के बारे में:


चूंकि अब हम एक शिक्षक के साथ प्रशिक्षण के बारे में बात कर रहे हैं, हमें एक तंत्रिका नेटवर्क के प्रशिक्षण के लिए कई घटकों की आवश्यकता है:

• डेटा (पहले से मौजूद है)
• नेटवर्क आर्किटेक्चर (हाइलाइट)
• एक हानि फ़ंक्शन जो बताएगा कि तंत्रिका नेटवर्क कैसे सीखता है (यहां यह क्रॉस-एनट्रॉपी होगा )
• अनुकूलन विधि (सही दिशा में नेटवर्क वजन बदल जाएगा)
• आर्किटेक्चर और ऑप्टिमाइज़र हाइपरपरमेटर्स को परिभाषित करें (उदाहरण के लिए, ऑप्टिमाइज़र स्टेप साइज़, परतों में न्यूरॉन्स की संख्या, नियमितीकरण गुणांक)

यह वही है जो कोड में लागू किया गया है, दृढ़ तंत्रिका नेटवर्क नेट () वर्ग में वर्णित है।

यदि आप धीरे-धीरे और शुरुआत से बंडलों और कनवल्शन नेटवर्क के बारे में जानना चाहते हैं, तो मैं इस विषय पर डीप लर्निंग स्कूल (एमआईपीटी एमआईपीटी) (रूसी में) पर एक व्याख्यान देने की सलाह देता हूं, और निश्चित रूप से, स्टैनफोर्ड का कोर्स सीएस 231 एन (अंग्रेजी में) ।



संक्षेप में, दृढ़ संकल्प ऑपरेशन आपको उनकी परिवर्तनशीलता के आधार पर चित्रों पर पैटर्न खोजने की अनुमति देता है। जब हम कन्वेन्शनल न्यूरल नेटवर्क को प्रशिक्षित करते हैं (eng: कन्वेंशनल न्यूरल नेटवर्क्स), तो, हम, वास्तव में, कनवल्शन फिल्टर (न्यूरॉन वेट) पाते हैं, जो छवियों का अच्छी तरह से वर्णन करते हैं, और इतनी अच्छी तरह से कि आप उनसे कक्षा का सही निर्धारण कर सकते हैं। इस तरह के नेटवर्क को बनाने के लिए कई तरीके ईजाद किए गए हैं। जितना आप सोचते हैं उससे ज्यादा ...

संवैधानिक तंत्रिका नेटवर्क आर्किटेक्चर: एक लक्ष्य को प्राप्त करने के 1000 तरीके

हां, हां, एक और वास्तु समीक्षा । लेकिन यहां मैं इसे यथासंभव प्रासंगिक बनाने की कोशिश करूंगा!

पहले LeNet था, इसने 1998 में Jan LeCun को पहचानने में मदद की। यह वर्गीकरण के लिए पहला दृढ़ तंत्रिका नेटवर्क था। उसकी मुख्य विशेषता यह थी कि वह मूल रूप से कनविक्शन और पूलिंग ऑपरेशंस का इस्तेमाल करने लगी थी।



तब ग्रिड के विकास में एक खामोशी थी, लेकिन हार्डवेयर अभी भी खड़ा नहीं था, GPU और XLA पर प्रभावी गणना विकसित हुई । 2012 में, एलेक्सनेट दिखाई दिया, उसने ILSVRC ( इमेजनेट लार्ज-स्केल विजुअल रिकॉग्निशन चैलेंज ) प्रतियोगिता में शूटिंग की।


आमतौर पर, विभिन्न वास्तुशिल्प समीक्षा उन लोगों पर प्रकाश डालती है जो ILSVRC में पहली बार 2010 से 2016 तक थे, और कुछ अन्य नेटवर्क पर। कहानी को अव्यवस्थित नहीं करने के लिए, मैंने उन्हें नीचे दिए गए स्पॉइलर के नीचे रखा, मुख्य विचारों पर जोर देने की कोशिश की:




इन सभी आर्किटेक्चर के विचार (जेडएफनेट को छोड़कर, आमतौर पर इसका उल्लेख कम है) एक समय में दृष्टि में तंत्रिका नेटवर्क में एक नया शब्द था। हालांकि, 2015 के बाद कई और महत्वपूर्ण सुधार हुए, उदाहरण के लिए, इनसेप्शन-रेसनेट, एक्ससेप्शन, डेंसनेट, सेनेट। नीचे मैंने उन्हें एक जगह इकट्ठा करने की कोशिश की।


PyTorch के लिए इन मॉडलों में से अधिकांश यहां मिल सकते हैं , और ऐसी एक शांत चीज है ।

आपने देखा होगा कि पूरी चीज़ का वज़न काफी होता है (मैं 20 एमबी अधिकतम, या उससे भी कम) चाहूंगा, जबकि आजकल वे हर जगह मोबाइल उपकरणों का उपयोग करते हैं और IoT लोकप्रियता प्राप्त कर रहे हैं, जिसका अर्थ है कि आप भी वहां ग्रिड का उपयोग करना चाहते हैं।


कई लेखों के लेखकों ने तेजी से आर्किटेक्चर का आविष्कार करने का रास्ता अपनाया, मैंने नीचे के स्पॉइलर के नीचे उनके तरीकों को एकत्र किया:


सभी तालिका में संख्याएँ रिपॉजिटरी से छत से, केरस एप्लीकेशन टेबल से और इस लेख से ली गई हैं ।

आप पूछते हैं: "आपने मॉडलों के इस पूरे" चिड़ियाघर "के बारे में क्यों लिखा? और वर्गीकरण का कार्य क्यों है? लेकिन हम मशीनों को देखना सिखाना चाहते हैं, और वर्गीकरण केवल किसी प्रकार का संकीर्ण कार्य है .. ”। तथ्य यह है कि वस्तुओं का पता लगाने, मुद्राओं / बिंदुओं का मूल्यांकन करने, चित्र में फिर से पहचान करने और खोजने के लिए तंत्रिका नेटवर्क बिल्कुल रीढ़ की हड्डी के रूप में वर्गीकरण के लिए मॉडल का उपयोग करते हैं, और सफलता का 80% उन पर निर्भर करता है।

लेकिन मैं किसी भी तरह सीएनएन पर अधिक भरोसा करना चाहता हूं, या उन्होंने काले बक्से पर विचार किया है, लेकिन "अंदर" क्या स्पष्ट नहीं है। दृढ़ नेटवर्क के कामकाज के तंत्र को बेहतर ढंग से समझने के लिए, शोधकर्ता दृश्य के उपयोग के साथ आए।

दृढ़ तंत्रिका नेटवर्क का दृश्य: मुझे जुनून दिखाओ

यह समझने की दिशा में एक महत्वपूर्ण कदम है कि नेटवर्क नेटवर्क के अंदर क्या हो रहा है, यह आलेख "विज़ुअलाइज़िंग और अंडरस्टैंडिंग नेटवर्क" है । इसमें, लेखकों ने विभिन्न सीएनएन परतों में वास्तव में क्या (तस्वीर के किन हिस्सों पर) न्यूरॉन्स की कल्पना करने के कई तरीके प्रस्तावित किए (मैं इस विषय पर स्टैनफोर्ड व्याख्यान देखने की भी सलाह देता हूं)। परिणाम बहुत प्रभावशाली थे: लेखकों ने दिखाया कि दृढ़ नेटवर्क की पहली परतें किनारों / कोणों / रेखाओं के प्रकार से कुछ "निम्न-स्तरीय चीजों" का जवाब देती हैं, और अंतिम परतें पहले से ही छवियों के पूरे हिस्सों पर प्रतिक्रिया करती हैं (नीचे दी गई तस्वीर देखें), अर्थात्, वे पहले से ही ले गए हैं अपने आप में कुछ शब्दार्थ।



इसके अलावा, कॉर्नेल विश्वविद्यालय से गहन दृश्य के लिए परियोजना और कंपनी ने आगे भी विज़ुअलाइज़ेशन को उन्नत किया, जबकि प्रसिद्ध डीपड्रीम ने एक नशे की लत दिलचस्प शैली में विकृत करना सीखा (नीचे deepdreamgenerator.com से एक तस्वीर है)।



2017 में, डिस्टिल पर एक बहुत अच्छा लेख प्रकाशित किया गया था , जिसमें उन्होंने प्रत्येक परत "देखता" का एक विस्तृत विश्लेषण किया था, और हाल ही में (मार्च 2019 में) Google ने सक्रियण एटलस का आविष्कार किया: प्रत्येक नेटवर्क परत के लिए बनाए जा सकने वाले अद्वितीय मानचित्र, जो हमें CNN के काम की समग्र तस्वीर समझने के करीब लाता है।



यदि आप खुद को विज़ुअलाइज़ेशन के साथ खेलना चाहते हैं, तो मैं ल्यूसिड और टेंसोरस्पेस की सिफारिश करूंगा ।

ठीक है, सीएनएन कुछ हद तक सही लगता है। हमें यह सीखने की आवश्यकता है कि इसे अन्य कार्यों में कैसे उपयोग किया जाए, न कि केवल वर्गीकरण में। यह हमें एंबेडिंग'ओव चित्र और ट्रांसफर लर्निंग निकालने में मदद करेगा।

मैं खुद एक प्रकार का सर्जन हूं: हम तंत्रिका नेटवर्क से विशेषताएं निकालते हैं

कल्पना करें कि एक तस्वीर है, और हम उसे ढूंढना चाहते हैं, जो इसे नेत्रहीन रूप से देखें (यह उदाहरण के लिए, यैंडेक्स.चित्र में चित्र में खोज है)। पहले (तंत्रिका नेटवर्क से पहले), इंजीनियर इसके लिए मैन्युअल रूप से सुविधाओं को निकालने के लिए उपयोग करते थे, उदाहरण के लिए, कुछ का आविष्कार करना जो तस्वीर का अच्छी तरह से वर्णन करता है और इसे दूसरों के साथ तुलना करने की अनुमति देता है। मूल रूप से, ये विधियाँ ( HOG , SIFT ) इमेज ग्रेडिएंट के साथ काम करती हैं, आमतौर पर इन चीजों को "क्लासिक" इमेज डिस्क्रिप्टर कहा जाता है। विशेष रुचि के, मैं लेख और एंटोन कोनुशिन के पाठ्यक्रम का उल्लेख करता हूं (यह विज्ञापन नहीं है, बस एक अच्छा पाठ्यक्रम है :)



तंत्रिका नेटवर्क का उपयोग करते हुए, हम इन विशेषताओं और स्वयं आंकड़े का आविष्कार नहीं कर सकते हैं, लेकिन मॉडल को ठीक से प्रशिक्षित करते हैं और फिर चित्र के संकेतों के रूप में नेटवर्क के एक या अधिक परतों के आउटपुट लेते हैं ।


सभी आर्किटेक्चर पर करीब से नजर डालने से यह स्पष्ट होता है कि सीएनएन में वर्गीकरण के दो चरण हैं:
1)। चित्रमय परतों का उपयोग करके छवियों से जानकारीपूर्ण सुविधाओं को निकालने के लिए फ़ीचर एक्सट्रैक्टर्स लेयर्स
2)। इन सुविधाओं के शीर्ष पर सीखना पूरी तरह से कनेक्टेड (एफसी) क्लासिफायर परतों



छवियों का एंबेडिंग (फीचर्स) सिर्फ इस तथ्य के बारे में है कि आप किसी चित्रण संबंधी तंत्रिका नेटवर्क के फ़ीचर एक्सट्रैक्टर (हालाँकि उन्हें अलग-अलग तरीकों से एकत्र किया जा सकता है) के बाद उनके संकेत ले सकते हैं। यही है, हमने वर्गीकरण के लिए नेटवर्क को प्रशिक्षित किया, और फिर वर्गीकरण परतों के सामने बस बाहर निकलें। इन संकेतों को फीचर्स कहा जाता है , न्यूरल नेटवर्क डिस्क्रिप्टर, या पिक्चर एम्बेडिंग (हालांकि एम्बेडिंग आमतौर पर एनएलपी में स्वीकार किए जाते हैं, क्योंकि यह विज़न है, मैं अक्सर फीचर्स बोलूंगा)। आमतौर पर यह किसी प्रकार का संख्यात्मक वेक्टर है, उदाहरण के लिए, 128 नंबर, जिसके साथ आप पहले से ही काम कर सकते हैं।


इस प्रकार, चित्र द्वारा खोज की समस्या को हल करने के लिए पाइपलाइन को सरल रूप से व्यवस्थित किया जा सकता है: हम चित्रों को सीएनएन के माध्यम से चलाते हैं, वांछित परतों से संकेत लेते हैं और विभिन्न चित्रों से एक दूसरे के साथ इन विशेषताओं की तुलना करते हैं। उदाहरण के लिए, हम बस इन वैक्टरों की यूक्लिडियन दूरी पर विचार करते हैं।



ट्रांसफर लर्निंग तंत्रिका नेटवर्क के प्रभावी प्रशिक्षण के लिए एक प्रसिद्ध तकनीक है जो पहले से ही अपने कार्य के लिए एक विशिष्ट डेटासेट पर प्रशिक्षित हैं। अक्सर वे यह भी कहते हैं कि ट्रांसफर लर्निंग के बजाय फाइन ट्यूनिंग, स्टैनफोर्ड कोर्स के नोट्स सीएस 23 एन में इन अवधारणाओं को साझा किया जाता है, वे कहते हैं, ट्रांसफर लर्निंग एक सामान्य विचार है, और फाइन ट्यूनिंग तकनीक के कार्यान्वयन में से एक है। यह हमारे लिए भविष्य में इतना महत्वपूर्ण नहीं है, मुख्य बात यह समझना है कि हम नेटवर्क को नए डेटासेट पर अच्छी तरह से भविष्यवाणी करने के लिए प्रशिक्षित कर सकते हैं, न कि यादृच्छिक भार से, बल्कि कुछ बड़े इमेजनेट-प्रकार पर प्रशिक्षित लोगों से। यह विशेष रूप से सच है जब थोड़ा डेटा होता है, और आप समस्या को गुणात्मक रूप से हल करना चाहते हैं।


हालाँकि, केवल आवश्यक सुविधाएँ लेना और डेटासेट से डेटासेट में अतिरिक्त प्रशिक्षण करना पर्याप्त नहीं हो सकता है, उदाहरण के लिए, समान व्यक्तियों / लोगों / कुछ विशिष्ट के लिए खोज के कार्यों के लिए। एक ही व्यक्ति की तस्वीरें नेत्रहीन कभी-कभी विभिन्न लोगों की तस्वीरों की तुलना में अधिक भिन्न हो सकती हैं। नेटवर्क को उन संकेतों को उजागर करना आवश्यक है जो किसी व्यक्ति / वस्तु में अंतर्निहित हैं, भले ही यह हमारे लिए हमारी आंखों के साथ ऐसा करना मुश्किल हो। प्रतिनिधित्व सीखने की दुनिया में आपका स्वागत है।

पास रहें: लोगों और व्यक्तियों के लिए प्रतिनिधित्व सीखना

हम कार्य निर्धारित करते हैं:

• टास्क 1 : लोगों के चेहरों की तस्वीरों की एक गैलरी (सेट) है, हम चाहते हैं कि नेटवर्क एक नई तस्वीर के अनुसार या तो गैलरी के किसी व्यक्ति के नाम के साथ प्रतिक्रिया करने में सक्षम हो (माना जाता है कि यह ऐसा है), या कहा कि गैलरी में ऐसा कोई व्यक्ति नहीं है (और, शायद, हम जोड़ते हैं) नया व्यक्ति)
  
  
  
• टास्क 2 : एक ही बात, लेकिन हम चेहरे की तस्वीरों के साथ नहीं, बल्कि लोगों की पूरी लंबाई वाली फसल के साथ काम कर रहे हैं
  
  
  

पहले कार्य को आम तौर पर चेहरा पहचान कहा जाता है, दूसरा - पुनः पहचान (संक्षिप्त रूप में रीड )। मैंने उन्हें एक ब्लॉक में संयोजित किया, क्योंकि उनके समाधान आज समान विचारों का उपयोग करते हैं: प्रभावी छवि एम्बेडिंग सीखने के लिए जो कठिन परिस्थितियों का सामना कर सकते हैं, आज वे विभिन्न प्रकार के नुकसान का उपयोग करते हैं, जैसे कि, उदाहरण के लिए, ट्रिपल लॉस , चौगुनी हानि। , विपरीत-केंद्र हानि , कोज्या हानि ।



अभी भी अद्भुत स्याम देश नेटवर्क हैं , लेकिन मैंने ईमानदारी से उन्हें खुद का उपयोग नहीं किया। वैसे, न केवल नुकसान खुद "निर्णय" करता है, बल्कि इसके लिए सकारात्मकता और नकारात्मकता के जोड़े का नमूना कैसे लिया जाए, लेख के लेखक गहरी नमूनाकरण सीखने में मामलों को महत्व देते हैं।

इन सभी नुकसानों और स्याम देश के नेटवर्कों का सार सरल है - हम चाहते हैं कि एक वर्ग (व्यक्ति) के चित्र अव्यक्त स्थान के फीचर्स (एम्बेडिंग) में "पास" हो, और विभिन्न वर्गों (लोगों) के "दूर" हों। निकटता को आमतौर पर निम्नानुसार मापा जाता है: एक तंत्रिका नेटवर्क से छवियों के एम्बेडिंग को लिया जाता है (उदाहरण के लिए, 128 नंबर का एक वेक्टर) और हम या तो इन वैक्टर या कॉज़ीन निकटता के बीच सामान्य यूक्लिडियन दूरी पर विचार करते हैं । अपने डेटासेट / कार्य को चुनने के लिए इसे कैसे मापना बेहतर है।

प्रतिनिधित्व सीखने पर एक समस्या को हल करने वाली पाइपलाइन का योजनाबद्ध प्रतिनिधित्व कुछ इस तरह दिखता है:





विशेष रूप से चेहरे की पहचान पर कई अच्छे लेख हैं: एक समीक्षा लेख ( MUST READ! ) , फेसनेट , आर्कफेस , कॉसफेस ।



बहुत सारे कार्यान्वयन भी हैं: dlib , OpenFace , FaceNet repo , और Habré पर इसके बारे में पहले ही लंबे समय से बताया गया था । ऐसा लगता है कि हाल ही में केवल ArcFace और CosFace को जोड़ा गया है (टिप्पणियों में लिखें, अगर मैंने यहां कुछ याद किया, तो मुझे कुछ और जानने में खुशी होगी)।

हालाँकि, अब चेहरे को पहचानना नहीं, बल्कि उन्हें उत्पन्न करना अधिक फैशन है , क्या यह है?


बदले में, पुन: पहचान कार्य अब सक्रिय गतिविधि से गुजर रहा है, हर महीने लेख प्रकाशित किए जाते हैं, लोग विभिन्न तरीकों की कोशिश करते हैं, कुछ अब काम कर रहे हैं, कुछ अभी भी बहुत अच्छा नहीं है।



मैं एक उदाहरण द्वारा रीड समस्या का सार समझाऊंगा: लोगों की फसल के साथ एक गैलरी है , उदाहरण के लिए, 10 लोग, प्रत्येक की 5 फसल है (विभिन्न पक्षों से हो सकती है), अर्थात्, गैलरी में 50 तस्वीरें। एक नई पहचान (फसल) आती है, और मुझे यह कहना चाहिए कि गैलरी से किस तरह का व्यक्ति है या यह कहें कि वह वहां नहीं है और उसके लिए एक नई आईडी बनाएं। यह कार्य इस तथ्य से जटिल है कि मानव निरोध विभिन्न कोणों से आते हैं: सामने, पीछे, ओर, नीचे , और वे कैमरे जिनसे तस्वीरें आती हैं वे भी अलग-अलग होते हैं (विभिन्न प्रकाश / सफेद संतुलन, आदि)।



वैसे, हमारी प्रयोगशाला में रीड प्रमुख कार्यों में से एक है। वास्तव में बहुत सारे लेख सामने आ रहे हैं, उनमें से कुछ नए, अधिक प्रभावी नुकसान के बारे में हैं, कुछ केवल नकारात्मक और सकारात्मक लोगों को प्राप्त करने के नए तरीके के बारे में हैं।

पुराने रीड तरीकों की एक अच्छी समीक्षा 2016 के लेख में है । अब, जैसा कि मैंने ऊपर लिखा था, दो दृष्टिकोण लागू होते हैं - वर्गीकरण या प्रतिनिधित्व सीखने। हालांकि, समस्या की एक विशिष्टता है, शोधकर्ताओं ने इसके साथ अलग तरह से संघर्ष किया, उदाहरण के लिए, संरेखित री-आईडी के लेखकों ने एक विशेष तरीके से सुविधाओं को संरेखित करने का प्रस्ताव दिया (हां, वे गतिशील प्रोग्रामिंग , कार्ल का उपयोग करके नेटवर्क में सुधार करने में सक्षम थे ), एक अन्य लेख में उन्होंने जेनरेटिव एडवांसरियल नेटवर्क्स नेटवर्क (GAN) का उपयोग करने का सुझाव दिया ) ।







कार्यान्वयन में से, मैं निश्चित रूप से OpenReid और TorchReid का उल्लेख करूंगा । कोड पर ध्यान दें - मेरी राय में, यह फ्रेमवर्क की वास्तुकला के दृष्टिकोण से सक्षम रूप से लिखा गया है, यहां अधिक विवरण । इसके अलावा, वे दोनों PyTorch पर हैं, और रीडमी ने व्यक्ति के पुन: पहचान पर लेख के कई लिंक दिए हैं, जो अच्छा है।

सामान्य तौर पर, चीन में अब चेहरे और रीड-एल्गोरिदम की विशेष मांग है ( यदि आप जानते हैं कि मेरा क्या मतलब है )। क्या हम लाइन पर हैं? कौन जानता है ...

तंत्रिका नेटवर्क के त्वरण के बारे में एक शब्द

हम पहले ही कह चुके हैं कि आप बस एक हल्की वास्तुकला के साथ आ सकते हैं। लेकिन क्या होगा यदि नेटवर्क पहले से ही प्रशिक्षित है और यह शांत है, लेकिन आपको अभी भी इसे संपीड़ित करने की आवश्यकता है? इस स्थिति में, निम्न विधियों में से कोई एक (या सभी) मदद कर सकता है:

• आसवन: एक , दो , तीन
• परिमाणीकरण: एक , दो
• प्रूनिंग: एक , दो

खैर, नियम फ्लोट64 का उपयोग नहीं करना है, लेकिन, उदाहरण के लिए, कोई भी फ्लोट 32 को रद्द नहीं करता है। कम-सटीक प्रशिक्षण के बारे में एक हालिया लेख भी है । हाल ही में, Google ने मॉर्फनेट को पेश किया , जो (सॉर्ट) मॉडल को स्वचालित रूप से संपीड़ित करने में मदद करता है।

आगे क्या है?

हमने वास्तव में डीएल और सीवी में बहुत उपयोगी और लागू चीजों की चर्चा की: वर्गीकरण, नेटवर्क आर्किटेक्चर, विज़ुअलाइज़ेशन, एम्बेडिंग। हालांकि, आधुनिक दृष्टि में अन्य महत्वपूर्ण कार्य भी हैं: दृश्य का पता लगाना, विभाजन, समझ। अगर हम वीडियो के बारे में बात कर रहे हैं, तो मैं समय में वस्तुओं को ट्रैक करना चाहता हूं , कार्यों को पहचानता हूं और समझता हूं कि वीडियो पर क्या हो रहा है। यह इन चीजों के लिए है कि समीक्षा का दूसरा भाग समर्पित होगा।

देखते रहो!