मैं देखता हूं, इसका मतलब है कि मेरा अस्तित्व है: कंप्यूटर विजन में गहन अध्ययन की समीक्षा (भाग 2)

हम आधुनिक जादू (कंप्यूटर दृष्टि) को समझना जारी रखते हैं। भाग 2 का मतलब यह नहीं है कि आपको पहले भाग 1 को पढ़ने की आवश्यकता है। भाग 2 का मतलब है कि अब सब कुछ गंभीर है - हम दृष्टि में तंत्रिका नेटवर्क की पूरी शक्ति को समझना चाहते हैं। डिटेक्शन, ट्रैकिंग, सेगमेंटेशन, पोस्चर एसेसमेंट, एक्शन रिकग्निशन ... सबसे फैशनेबल और सबसे अच्छे आर्किटेक्चर, सैकड़ों लेयर्स और दर्जनों शानदार आइडियाज पहले से ही कट के तहत आपका इंतजार कर रहे हैं!

आखिरी सीरीज में

मैं आपको याद दिला दूं कि पहले भाग में हम कंफर्टेबल न्यूरल नेटवर्क और उनके विज़ुअलाइज़ेशन से परिचित हुए, साथ ही छवियों को वर्गीकृत करने और उनके प्रभावी अभ्यावेदन (एम्बेडिंग) के निर्माण के कार्यों के साथ। हमने चेहरे की पहचान और लोगों की फिर से पहचान के कार्यों पर भी चर्चा की।

यहां तक ​​कि पिछले लेख में हमने विभिन्न प्रकार के आर्किटेक्चर के बारे में बात की थी (हां, एक ही टैबलेट जो मैंने एक महीने में बनाई थी ), और यहां Google ने समय बर्बाद नहीं किया: उन्होंने अभी तक एक और बेहद तेज और सटीक एफ़िशिएंसी आर्किटेक्चर जारी किया। उन्होंने इसे NAS और विशेष यौगिक स्केलिंग प्रक्रिया का उपयोग करके बनाया। लेख देखें , यह इसके लायक है।


इस बीच, कुछ शोधकर्ताओं चेहरों चेतन और फिल्मों चुंबन को देख , हम और अधिक दबाने समस्याओं zaymomsya।

यहां लोग कहते हैं: "छवि मान्यता"। लेकिन "मान्यता" क्या है? "समझ (दृश्य)" क्या है? मेरी राय में, इन सवालों के जवाब इस बात पर निर्भर करते हैं कि हम वास्तव में "पहचान" क्या चाहते हैं, और वास्तव में हम क्या "समझना" चाहते हैं। यदि हम आर्टिफिशियल इंटेलिजेंस का निर्माण करते हैं, जो लोगों के रूप में कुशलता से (या इससे भी बेहतर) विजुअल स्ट्रीम से दुनिया के बारे में जानकारी निकालेगा, तो हमें जरूरत से, कार्यों से जाने की जरूरत है। ऐतिहासिक रूप से, आधुनिक "मान्यता" और "दृश्य की समझ" को कई विशिष्ट कार्यों में विभाजित किया जा सकता है: वर्गीकरण, पता लगाना, ट्रैकिंग, आसन और चेहरे के बिंदुओं का मूल्यांकन, विभाजन, वीडियो पर कार्यों की मान्यता और पाठ में छवि का विवरण। यह आलेख सूची से पहले दो कार्यों (अप, तीसरे भाग के बिगाड़ने वाले) पर ध्यान केंद्रित करेगा, इसलिए वर्तमान योजना यह है:

1. यदि आप कर सकते हैं मुझे पता लगाएं: ऑब्जेक्ट का पता लगाना
2. फेस डिटेक्शन: नॉट कॉट - नॉट ए थीफ
3. कई पत्र: पाठ का पता लगाने (और मान्यता)
4. वीडियो और ट्रैकिंग: एक एकल स्ट्रीम में

चलो रॉक, सुपरस्टार!

यदि आप कर सकते हैं मुझे खोजें: वस्तु का पता लगाने

तो, कार्य सरल लगता है - एक तस्वीर दी गई है, आपको उस पर पूर्वनिर्धारित कक्षाओं की वस्तुओं (व्यक्ति, पुस्तक, सेब, आर्टेशियन-नॉर्मन बैसेट-ग्रिफॉन, आदि) को खोजने की आवश्यकता है। तंत्रिका नेटवर्क की मदद से इस समस्या को हल करने के लिए, हम इसे टेंसर्स और मशीन लर्निंग के संदर्भ में बताते हैं।

हमें याद है कि एक रंगीन चित्र एक टेंसर (एच, डब्ल्यू, 3) है (यदि हमें याद नहीं है, अर्थात भाग 1 )। पहले, हम केवल पूरी तस्वीर को वर्गीकृत करना जानते थे, लेकिन अब हमारा लक्ष्य चित्र और उनकी कक्षाओं में रुचि की वस्तुओं (पिक्सेल निर्देशांक) की स्थिति का अनुमान लगाना है।

यहाँ मुख्य विचार दो समस्याओं को एक साथ हल करना है - वर्गीकरण और प्रतिगमन। हम एक तंत्रिका नेटवर्क का उपयोग निर्देशांक को पुन: प्राप्त करने और उनके अंदर वस्तुओं को वर्गीकृत करने के लिए करते हैं।


लेकिन ऑब्जेक्ट के निर्देशांक, आम तौर पर बोलना, अलग-अलग तरीकों से औपचारिक रूप से औपचारिक रूप से देखा जा सकता है, डीएल में तीन मुख्य तरीके हैं: पता लगाना (वस्तुओं के बक्से ), आसन का मूल्यांकन (वस्तुओं के प्रमुख बिंदु) और विभाजन (वस्तुओं के "मास्क")। अब बात करते हैं कि ठीक से बाउंडिंग बॉक्स की भविष्यवाणी करने के बारे में, अंक और विभाजन पाठ में आगे होगा।


मूल रूप से, डिटेक्टिंग डेटासेट को प्रारूप में बक्से के साथ चिह्नित किया जाता है: "प्रत्येक चित्र में प्रत्येक ऑब्जेक्ट के लिए ऊपरी बाएं और निचले दाएं कोनों के निर्देशांक" (इस प्रारूप को शीर्ष-बाएं, नीचे-दाएं ) भी कहा जाता है, और अधिकांश तंत्रिका नेटवर्क दृष्टिकोण इन निर्देशांक की भविष्यवाणी करते हैं।



पता लगाने के लिए तंत्रिका नेटवर्क के प्रकारों में डूबने से पहले, आइए एक साथ सोचें कि छवियों में कुछ भी पता लगाने की समस्या को कैसे हल किया जाए। शायद, अगर हम तस्वीर में एक निश्चित वस्तु ढूंढना चाहते हैं, तो हम मोटे तौर पर जानते हैं कि यह कैसा दिखता है और छवि में किस क्षेत्र पर कब्जा करना चाहिए (हालांकि यह बदल सकता है)।


आगे, मैं कभी-कभी जनवरी 2019 से पहचान क्षेत्र की एक नई समीक्षा पर भरोसा करूंगा (चित्र भी इसमें से होंगे)। यदि आप जल्दी से डीएल का पता लगाना चाहते हैं, तो यह पढ़ना चाहिए।

CNN का उपयोग करके पता लगाने और स्थानीयकरण के पहले लेखों में से एक ओवरफिट था। लेखकों का दावा है कि उन्होंने सबसे पहले ImageNet पर पता लगाने, समस्या का सुधार करने और नुकसान को बदलने के लिए एक तंत्रिका नेटवर्क का उपयोग किया। वैसे, दृष्टिकोण लगभग एंड-टू-एंड था (नीचे ओवरफिट स्कीम है)।


अगला महत्वपूर्ण आर्किटेक्चर क्षेत्र-आधारित कन्वेंशनल न्यूरल नेटवर्क ( RCNN ) था, जिसका आविष्कार 2014 में FAIR के शोधकर्ताओं ने किया था। इसका सार यह है कि यह सबसे पहले तथाकथित "रुचि के क्षेत्रों" (RoI's) की भविष्यवाणी करता है, जिसके अंदर संभावित रूप से ऑब्जेक्ट्स (चयनात्मक खोज एल्गोरिदम का उपयोग करके) हो सकते हैं, और यह उन्हें वर्गीकृत करता है और CNN का उपयोग करके बक्से के निर्देशांक को परिष्कृत करता है।


सच है, इस तरह की पाइपलाइन ने पूरे सिस्टम को धीमा कर दिया, क्योंकि हमने तंत्रिका नेटवर्क के माध्यम से हर क्षेत्र को चलाया (हमने हजारों बार आगे फॉरवर्ड किया)। एक साल बाद, उसी एफएआईआर रॉस गिरशिक ने आरसीएनएन को फास्ट-आरसीएनएन में अपग्रेड किया। यहां विचार चयनात्मक खोज और नेटवर्क भविष्यवाणी को स्वैप करने के लिए था: सबसे पहले, हम एक पूर्व-प्रशिक्षित तंत्रिका नेटवर्क के माध्यम से पूरी तस्वीर को पास करते हैं, और फिर हम बैकबोन नेटवर्क द्वारा जारी किए गए फीचर-मैप पर ब्याज के क्षेत्रों की भविष्यवाणी करते हैं (उदाहरण के लिए, उसी चयनात्मक खोज का उपयोग करके, लेकिन अन्य एल्गोरिदम हैं )। यह अभी भी वास्तविक समय की तुलना में काफी धीमा था, (अब के लिए, हम मानते हैं कि वास्तविक समय प्रति चित्र 40 मिलीसेकंड से कम है)।


गति सीएनएन द्वारा नहीं, बल्कि बॉक्स पीढ़ी के एल्गोरिथम द्वारा सबसे अधिक प्रभावित हुई थी, इसलिए इसे दूसरे न्यूरल नेटवर्क - रीजन प्रपोजल नेटवर्क ( आरपीएन ) के साथ बदलने का निर्णय लिया गया, जिसे वस्तुओं के हित के क्षेत्रों की भविष्यवाणी करने के लिए प्रशिक्षित किया जाएगा। इस तरह फास्टर-आरसीएनएन दिखाई दिया (हां, उन्होंने स्पष्ट रूप से लंबे समय तक नाम के बारे में नहीं सोचा था)। ड्राइविंग:


फिर आर-एफसीएन के रूप में एक और सुधार हुआ, हमने इसके बारे में विस्तार से बात नहीं की, लेकिन मैं मास्क-आरसीएनएन का उल्लेख करना चाहता हूं । मास्क-आरसीएनएन एक अनूठा, पहला तंत्रिका नेटवर्क है जो एक ही समय में पहचान और उदाहरण विभाजन की समस्या को हल करता है - यह बाउंडिंग बॉक्स के अंदर वस्तुओं के सटीक मास्क (सिल्हूट) की भविष्यवाणी करता है। उसका विचार वास्तव में काफी सरल है - दो शाखाएं हैं: पता लगाने और विभाजन के लिए, और आपको एक ही बार में दोनों कार्यों के लिए नेटवर्क को प्रशिक्षित करने की आवश्यकता है। मुख्य बात टैग डेटा है। मास्क-आरसीएनएन खुद ही बहुत तेज़-आरसीएनएन के समान है: रीढ़ एक समान है, लेकिन अंत में दो अलग-अलग कार्यों के लिए दो "सिर" (तंत्रिका नेटवर्क की अंतिम परतों को अक्सर कहा जाता है) होते हैं।


ये तथाकथित दो-चरण (या क्षेत्र-आधारित ) दृष्टिकोण थे। उनके साथ समानांतर में, डीएल-डिटेक्शन - वन-स्टेज दृष्टिकोण में एनालॉग विकसित किए गए थे। इनमें न्यूरल नेटवर्क शामिल हैं: सिंगल-शॉट डिटेक्टर (SSD), यू ओनली लुक वन्स (YOLO), डीपली सुपरवाइज्ड ऑब्जेक्ट डिटेक्टर (DSOD), रिसेप्टिव फील्ड ब्लॉक नेटवर्क (RFBNet) और कई अन्य (नीचे दिया गया नक्शा देखें, यहाँ से) यह भंडार )।


एक-चरण दृष्टिकोण, दो-चरण के विपरीत, बक्से उत्पन्न करने के लिए एक अलग एल्गोरिथ्म का उपयोग नहीं करते हैं, लेकिन बस एक दृढ़ तंत्रिका नेटवर्क द्वारा उत्पादित प्रत्येक सुविधा मानचित्र के लिए कई बॉक्स निर्देशांक की भविष्यवाणी करते हैं। YOLO एक समान तरीके से कार्य करता है, SSD थोड़ा अलग है, लेकिन केवल एक ही विचार है: 1x1 कनवल्शन गहराई से प्राप्त फीचर मैप्स से कई नंबरों की भविष्यवाणी करता है, हालांकि हम पहले से सहमत हैं कि इसका क्या मतलब है।



उदाहरण के लिए, हम एक फीचर मैप से अनुमान लगाते हैं कि 13x13x256 का आकार एक फीचर मैप है 13x13x (4 * (5 + 80)) संख्या, जहां गहराई में हम 4 बॉक्स के लिए 85 नंबर की भविष्यवाणी करते हैं: अनुक्रम में पहले 4 नंबर हमेशा बॉक्स के निर्देशांक, 5 वें होते हैं। - मुक्केबाजी में विश्वास, और 80 नंबर - प्रत्येक वर्ग (वर्गीकरण) की संभावनाएं। फिर आवश्यक संख्याओं को आवश्यक नुकसानों के लिए प्रस्तुत करना और तंत्रिका नेटवर्क को ठीक से प्रशिक्षित करना आवश्यक है।


मैं इस तथ्य पर ध्यान आकर्षित करना चाहता हूं कि डिटेक्टर के काम की गुणवत्ता सुविधाओं को निकालने के लिए तंत्रिका नेटवर्क की गुणवत्ता पर निर्भर करती है (अर्थात, एक रीढ़ की हड्डी का तंत्रिका नेटवर्क )। आमतौर पर, यह भूमिका वास्तुकारों में से एक द्वारा निभाई जाती है, जिसके बारे में मैंने पिछले लेख (ResNet, SENet, इत्यादि) में बात की थी, लेकिन कभी-कभी लेखक अपने स्वयं के अधिक इष्टतम आर्किटेक्चर (उदाहरण के लिए, YOLO3 में Darknet-53) या संशोधनों के साथ आते हैं (उदाहरण के लिए, फ़ीचर पिरामिड पूलिंग) (FPN))।

दोबारा, मैं ध्यान देता हूं कि हम एक ही समय में वर्गीकरण और प्रतिगमन दोनों के लिए नेटवर्क को प्रशिक्षित करते हैं। समुदाय में, इसे बहु-कार्य नुकसान कहा जाता है: कई कार्यों (कुछ गुणांक के साथ) के नुकसान की राशि एक नुकसान में दिखाई देती है।


हाल ही में, 2019 के लेख सामने आए, जिसमें लेखक बिंदु-आधारित बॉक्स भविष्यवाणी का उपयोग करके पता लगाने के कार्य में एक बेहतर गति / सटीकता अनुपात की घोषणा करते हैं। मैं लेखों "वस्तुओं के रूप में अंक" और "कॉर्नरनेट-लाइट" के बारे में बात कर रहा हूं। एक्सट्रीमनेट कॉर्नरनेट का एक संशोधन है। ऐसा लगता है कि अब उन्हें तंत्रिका नेटवर्क का उपयोग करके पता लगाने में SOTA कहा जा सकता है (लेकिन यह सटीक नहीं है)।


अगर अचानक डिटेक्टरों की मेरी व्याख्या अभी भी अराजक और समझ से बाहर है, तो हमारे वीडियो में मैं इसे धीरे-धीरे चर्चा करता हूं। शायद आपको पहले इसे देखना चाहिए।

नीचे मैंने कोड के लिंक और प्रत्येक नेटवर्क के चिप्स के संक्षिप्त विवरण के साथ तंत्रिका नेटवर्क की तालिकाएँ दी हैं। मैंने केवल उन नेटवर्कों को इकट्ठा करने की कोशिश की है जो आज वस्तु पहचान के बारे में अच्छा विचार रखने के लिए (कम से कम उनके विचारों को) जानना महत्वपूर्ण है:








यह समझने के लिए कि प्रत्येक वास्तुकला की गति / गुणवत्ता कैसे संबंधित है, आप इस समीक्षा या इसके अधिक लोकप्रिय संस्करण को देख सकते हैं ।

वास्तुकला ठीक है, लेकिन पता लगाना मुख्य रूप से एक व्यावहारिक कार्य है। "सौ नेटवर्क न रखें, लेकिन कम से कम 1 काम करें" - यह मेरा संदेश है। उपरोक्त तालिका में कोड के लिंक हैं, लेकिन व्यक्तिगत रूप से, मैं शायद ही कभी डिटेक्टरों को सीधे रिपॉजिटरी (कम से कम उत्पादन के लिए आगे तैनाती के लक्ष्य के साथ) से मुठभेड़ कर रहा हूं। सबसे अधिक बार, इसके लिए एक पुस्तकालय का उपयोग किया जाता है, उदाहरण के लिए, TensorFlow Object Detection API ( मेरे पाठ का व्यावहारिक भाग देखें) या CUHK के शोधकर्ताओं का एक पुस्तकालय । मैं आपके ध्यान में एक और सुपर-टेबल लाता हूं (आप उन्हें पसंद करते हैं, ठीक है?):


अक्सर आपको केवल एक वर्ग की एक वस्तु का पता लगाने की आवश्यकता होती है, लेकिन विशिष्ट और उच्च चर। उदाहरण के लिए, फोटो में सभी चेहरों का पता लगाने (लोगों के सत्यापन / गिनती के लिए), पूरे लोगों का पता लगाने के लिए (पुन: पहचान / गिनती / ट्रैकिंग के लिए) या दृश्य पर पाठ का पता लगाने के लिए (फोटो में ओसीआर / शब्दों के अनुवाद के लिए)। सामान्य तौर पर, "साधारण" का पता लगाने का तरीका कुछ हद तक काम करेगा, लेकिन इनमें से प्रत्येक उपशीर्षक में गुणवत्ता में सुधार करने के लिए अपने स्वयं के गुर हैं।

फेस डिटेक्शन: नॉट कॉट - नॉट ए थीफ

कुछ विशिष्टताएं यहां दिखाई देती हैं, क्योंकि चेहरे अक्सर छवि के काफी छोटे हिस्से पर कब्जा कर लेते हैं। साथ ही, लोग हमेशा कैमरे को नहीं देखते हैं, अक्सर चेहरा केवल तरफ से दिखाई देता है। मान्यता प्राप्त करने के लिए सबसे पहले दृष्टिकोणों में से एक प्रसिद्ध वायोला-जोन्स डिटेक्टर था, जो हैर कैस्केड्स पर आधारित था, जिसका आविष्कार 2001 में किया गया था।


तंत्रिका नेटवर्क तब फैशन में नहीं थे, वे अभी भी दृष्टि में इतने मजबूत नहीं थे, हालांकि, अच्छे पुराने हाथ से तैयार किए गए दृष्टिकोण ने अपना काम किया। इसमें कई प्रकार के विशेष फिल्टर मास्क सक्रिय रूप से उपयोग किए गए थे, जो चेहरे के क्षेत्रों को छवि और उनके संकेतों से निकालने में मदद करते थे, और फिर इन संकेतों को AdaBoost क्लासिफायर के लिए प्रस्तुत किया गया था। वैसे, यह विधि वास्तव में ठीक काम करती है और अब, यह काफी तेज है और ओपनसीवी का उपयोग करके बॉक्स से बाहर निकल जाती है। इस डिटेक्टर का नुकसान यह है कि यह केवल उन चेहरों को देखता है जो कैमरे के सामने तैनात होते हैं। एक को केवल थोड़ा घूमना पड़ता है और डिटेक्शन की स्थिरता का उल्लंघन होता है।

ऐसे अधिक जटिल मामलों के लिए, आप dlib का उपयोग कर सकते हैं। यह सी ++ है - एक पुस्तकालय जिसमें चेहरे की पहचान के लिए कई दृष्टि एल्गोरिदम लागू किए जाते हैं।

चेहरे का पता लगाने में तंत्रिका नेटवर्क दृष्टिकोण में से, मल्टी-टास्क कैस्केड सीएनएन (MTCNN) ( MatLab , TensorFlow ) विशेष रूप से महत्वपूर्ण है। सामान्य तौर पर, अब इसे सक्रिय रूप से (उसी पहलू में ) उपयोग किया जाता है।


MTCNN का विचार तीन तंत्रिका नेटवर्क का क्रमिक रूप से उपयोग करना है (इसलिए, एक "कैस्केड" ) एक चेहरे की स्थिति और उसके विलक्षण बिंदुओं की भविष्यवाणी करने के लिए। इस मामले में, चेहरे पर वास्तव में 5 विशेष बिंदु हैं: बाईं आंख, दाईं आंख, होंठ के बाएं किनारे, होंठ और नाक के दाहिने किनारे।कैस्केड ( पी-नेट ) से पहले तंत्रिका नेटवर्क का उपयोग चेहरे के संभावित क्षेत्रों को उत्पन्न करने के लिए किया जाता है। दूसरा ( आर-नेट ) - प्राप्त बक्से के निर्देशांक में सुधार करने के लिए। तीसरा ( ओ-नेट ) तंत्रिका नेटवर्क एक बार फिर से बक्से के निर्देशांक को पुन: प्राप्त करता है और इसके अलावा, चेहरे के 5 प्रमुख बिंदुओं की भविष्यवाणी करता है। यह नेटवर्क एक बहु-कार्य है क्योंकि तीन कार्य हल किए गए हैं: बॉक्स बिंदुओं का प्रतिगमन, प्रत्येक बॉक्स के लिए चेहरे का वर्गीकरण / अंकित नहीं, और चेहरे के बिंदुओं का प्रतिगमन। इसके अलावा, MTCNN यह सब वास्तविक समय में करता है, अर्थात, इसे प्रति छवि 40 एमएस से कम की आवश्यकता होती है।



आधुनिक स्टेट-ऑफ-द-आर्ट के बीच, दोहरी शॉट फेस डिटेक्टर (डीएसएफडी) और फेसबॉक्स को नोट किया जा सकता है । फेसबॉक्स में सीपीयू (!) पर जल्दी से लॉन्च करने की क्षमता है, और डीएसएफडी में सबसे अच्छी गुणवत्ता (अप्रैल 2019 में जारी) है। DSFD MTCNN की तुलना में अधिक जटिल है, क्योंकि सुविधाओं में सुधार करने के लिए एक विशेष मॉड्यूल ( पतला संकल्प के साथ ), उनके प्रसंस्करण की दो शाखाएं और विशेष प्रकार के नुकसान नेटवर्क के अंदर उपयोग किए जाते हैं । वैसे, पतले संकल्पों के साथ हम अगले भाग में विभाजन पर लेखों में एक से अधिक बार आएंगे। नीचे एक DSFD का उदाहरण है (प्रभावशाली, है ना?)।


चेहरों को पहचानना सीखने के लिए , श्रृंखला के पिछले लेख को देखना न भूलें , जहाँ मैंने इसके बारे में संक्षेप में बात की है।

कई पत्र: पाठ का पता लगाने (और मान्यता)

ऊपर दिए गए फोटो पर ध्यान दें। यह देखना आसान है कि यदि आप समन्वित कुल्हाड़ियों के समानांतर बाउंडिंग बॉक्स की भविष्यवाणी करते हैं (जैसा कि हमने पहले किया था), तो यह बहुत खराब गुणवत्ता का होगा। अक्सर यह बहुत महत्वपूर्ण हो जाता है यदि, उदाहरण के लिए, हम इन बक्सों को मान्यता तंत्रिका नेटवर्क के इनपुट में जमा करना चाहते हैं, जो चित्र से पाठ की भविष्यवाणी करेगा ।

ऐसे मामलों में, यह घुमाए गए बाउंडिंग बॉक्स की भविष्यवाणी करने के लिए प्रथागत है, या यहां तक ​​कि अगर यह घुमावदार है (उदाहरण के नीचे) तो आयतों के बजाय बहुभुजों तक पाठ को सीमित करें। घुमाए गए बक्से की भविष्यवाणी को संभाला जाता है, उदाहरण के लिए, एक ईएएस डिटेक्टर द्वारा ।



EAST डिटेक्टर का विचार बॉक्स के कोनों के निर्देशांक की भविष्यवाणी नहीं करना है, बल्कि निम्नलिखित तीन चीजें हैं:

1. पाठ स्कोर मैप्स (प्रत्येक पिक्सेल में पाठ खोजने की संभावना)
2. प्रत्येक बॉक्स के रोटेशन का कोण
3. प्रत्येक पिक्सेल के लिए आयत की सीमाओं के लिए दूरियां

इस प्रकार, यह पता लगाने की तुलना में विभाजन (टास्क मास्क को उजागर करना) के कार्य की अधिक याद दिलाता है। अर्क्सिव आर्टिकल से व्याख्यात्मक तस्वीर :



टेक्स्ट रिकग्निशन (और इसलिए इसका पता लगाना) का कार्य बहुत लोकप्रिय है, इसलिए इसके एनालॉग्स हैं: टेक्स्टबॉक्स + ( कैफ ) और सेगलिंक्स , लेकिन ईएएसटी , मेरी राय में, सबसे सरल और सस्ती है।

पाठ का पता लगाने के बाद, मैं इसे पहचानने और वर्णों का निर्माण करने के लिए तुरंत इसे किसी अन्य तंत्रिका नेटवर्क को खिलाना चाहता हूं । यहां आप मोडेरिटी में एक दिलचस्प बदलाव देख सकते हैं - छवियों से पाठ तक। आपको इससे बिल्कुल भी नहीं डरना चाहिए, क्योंकि सब कुछ केवल इस बात पर निर्भर करता है कि नेटवर्क आर्किटेक्चर क्या है, आखिरी परत पर वास्तव में क्या भविष्यवाणी की गई है और किस तरह का नुकसान हुआ है। उदाहरण के लिए, मोरान ( PyTorch कोड ) और ASTER ( TensorFlow code) ) पूरी तरह से कार्य के साथ सामना।



उनके पास कुछ अलौकिक नहीं है, लेकिन मौलिक रूप से विभिन्न प्रकार के तंत्रिका नेटवर्क एक साथ बहुत सक्षम रूप से उपयोग किए जाते हैं: सीएनएन और आरएनएन। पहला चित्र से सुविधाओं को निकालने के लिए है, और दूसरा पाठ उत्पन्न करने के लिए है। मोरन के उदाहरण पर अधिक: नीचे इसके पहचानने वाले नेटवर्क की वास्तुकला है।


हालांकि, ईएएसटी से घुमाए गए बक्से के बावजूद, मान्यता नेटवर्क को अभी भी इनपुट पर एक आयताकार चित्र प्राप्त होगा, जिसका अर्थ है कि इसके अंदर का पाठ सभी स्थान से बहुत दूर तक कब्जा कर सकता है। पहचानकर्ता के लिए चित्र से उस पर सीधे पाठ की भविष्यवाणी करना आसान बनाने के लिए, आप इसे एक निश्चित तरीके से परिवर्तित कर सकते हैं।

हम टेक्स्ट को स्ट्रेच / रोटेट करने के लिए इनपुट इमेज में affine ट्रांसफॉर्मेशन लागू कर सकते हैं । यह स्थानिक ट्रांसफॉर्मेट नेटवर्क (एसटीएन) का उपयोग करके प्राप्त किया जा सकता है , क्योंकि यह स्वतंत्र रूप से ऐसे परिवर्तनों को सीखता है और आसानी से अन्य तंत्रिका नेटवर्क में एकीकृत होता है (वैसे, आप इस संरेखण को किसी भी चित्र के लिए कर सकते हैं, न कि केवल पाठ के लिए)। नीचे STN से पहले / बाद का एक उदाहरण है।


यहां एसटीएन के बारे में विस्तार से बात करने का कोई मतलब नहीं है, क्योंकि हैबे पर एक अद्भुत लेख है (चित्र वहां से लिया गया था, लेखक के लिए धन्यवाद) और पायटोर कोड ।

लेकिन MORAN (टेक्स्ट रिकग्निशन के लिए एक ही न्यूरल नेटवर्क) और भी स्मार्ट है - यह एफाइन ट्रांसफ़ॉर्मेशन फैमिली तक सीमित नहीं है, बल्कि इनपुट इमेज के प्रत्येक पिक्सेल के लिए x और y के विस्थापन मानचित्र की भविष्यवाणी करता है , इस प्रकार किसी भी ट्रांसफ़ॉर्मेशन को प्राप्त करता है जो मान्यता के लिए नेटवर्क के सीखने में सुधार करता है। इस विधि को रेक्टिफिकेशन कहा जाता है , अर्थात सहायक न्यूरल नेटवर्क ( रेक्टिफायर ) का उपयोग करके किसी चित्र को सही करना । नीचे रूपांतरण रूपांतरण के बाद और सुधार के बाद की छवि की तुलना है:


हालांकि, पाठ मान्यता "मॉड्यूलर" (डिटेक्शन नेटवर्क -> मान्यता नेटवर्क) के दृष्टिकोण के अलावा, एक एंड-टू-एंड आर्किटेक्चर है: इनपुट एक तस्वीर है, और आउटपुट एक डिटेक्शन और उनके अंदर मान्यता प्राप्त पाठ है। और यह सब एक एकल पाइपलाइन है जो एक ही बार में दोनों कार्यों को सीखता है। इस दिशा में, एक नेटवर्क ( FOTS ) ( PyTorch कोड ) के साथ फास्ट ओरिएंटेड टेक्स्ट स्पॉटिंग का प्रभावशाली काम है, जहाँ लेखक यह भी ध्यान देते हैं कि एंड-टू-एंड दृष्टिकोण "डिटेक्शन + रिकॉग्निशन" से दोगुना तेज़ है। नीचे FOTS न्यूरल नेटवर्क आरेख है, एक विशेष भूमिका RoiRotate ब्लॉक द्वारा निभाई जाती है, जिसके कारण यह पता लगाने के लिए तंत्रिका नेटवर्क पर मान्यता के लिए नेटवर्क से "कलाकारों को वर्गीकृत" करना संभव है (यह वास्तव में अधिक जटिल लगता है)।


वैसे, हर साल ICDAR सम्मेलन आयोजित किया जाता है , जिसमें कई प्रकार की छवियों में पाठ की मान्यता के लिए कई प्रतियोगिताओं का समय होता है।

वर्तमान समस्याओं का पता लगाने में

मेरी राय में, अब पता लगाने में मुख्य समस्या डिटेक्टर मॉडल की गुणवत्ता नहीं है, लेकिन डेटा: वे आमतौर पर चिह्नित करने के लिए लंबे और महंगे हैं, खासकर यदि बहुत सारी कक्षाएं हैं जिन्हें पता लगाने की आवश्यकता है (लेकिन वैसे 500 कक्षाओं के लिए एक समाधान का एक उदाहरण है )। इसलिए, कई काम अब सबसे प्रशंसनीय डेटा की पीढ़ी को "कृत्रिम रूप से" और मार्कअप "मुफ्त में" प्राप्त करने के लिए समर्पित हैं। नीचे एनवीडिया के एक लेख के मेरे डिप्लोमा से एक तस्वीर है, जो विशेष रूप से सिंथेटिक डेटा की पीढ़ी से संबंधित है।


लेकिन फिर भी यह बहुत अच्छा है कि अब हम निश्चित रूप से कह सकते हैं कि तस्वीर में क्या होना चाहिए। और अगर हम चाहते हैं, उदाहरण के लिए, फ्रेम पर किसी चीज़ की मात्रा की गणना करने के लिए, तो यह पता लगाने और बक्से की संख्या देने के लिए पर्याप्त है। लोगों का पता लगाने में, सामान्य योलो भी अच्छी तरह से काम करता है, बस मुख्य बात यह है कि बहुत सारा डेटा जमा करना है। एक ही Darkflow उपयुक्त है, और "मानव" वर्ग लगभग सभी प्रमुख पहचान डेटासेट में पाया जाता है। इसलिए यदि हम कैमरा का उपयोग करना चाहते हैं, जो एक दिन में, एक दिन में, या किसी व्यक्ति द्वारा स्टोर में लिए गए सामानों की संख्या को गिनने के लिए है, तो हम आसानी से पता लगा लेंगे और मात्रा दे देंगे ...


बंद करो। लेकिन अगर हमें कैमरे से प्रत्येक छवि में लोगों का पता लगाना है, तो हम उनकी संख्या की एक फ्रेम में और दो में गणना कर सकते हैं - अब नहीं, क्योंकि हम यह नहीं कह सकते हैं कि वास्तव में कौन व्यक्ति है। हमें एक एल्गोरिथ्म की आवश्यकता है जो हमें वीडियो स्ट्रीम में बिल्कुल अद्वितीय लोगों को गिनने की अनुमति देता है। यह एक पुन: पहचान एल्गोरिथ्म हो सकता है, लेकिन जब वीडियो और पहचान की बात आती है, तो ट्रैकिंग एल्गोरिदम का उपयोग न करना एक पाप है।

वीडियो और ट्रैकिंग: एक एकल स्ट्रीम में

अब तक, हमने केवल चित्रों में कार्यों के बारे में बात की है, लेकिन सबसे दिलचस्प बात वीडियो पर होती है। कार्यों की समान मान्यता को हल करने के लिए, हमें न केवल तथाकथित स्थानिक घटक का उपयोग करने की आवश्यकता है, बल्कि अस्थायी भी है , क्योंकि वीडियो समय में छवियों का एक क्रम है।


ट्रैकिंग छवि पहचान का एक एनालॉग है, लेकिन वीडियो के लिए। यही है, हम चित्र में बॉक्सिंग नहीं, बल्कि समय में एक ट्रैकलेट (जो मूल रूप से बक्से का एक अनुक्रम है) की भविष्यवाणी करने के लिए नेटवर्क को सिखाना चाहते हैं। नीचे एक चित्र का एक उदाहरण है जो "पूंछ" दिखाता है - वीडियो में इन लोगों की पटरियां।


आइए विचार करें कि ट्रैकिंग समस्या को कैसे हल किया जाए। चलो एक वीडियो है, और इसके फ्रेम # 1 और # 2। आइए अब तक केवल एक वस्तु पर विचार करें - हम एक गेंद को ट्रैक करते हैं। # 1 फ्रेम में, हम इसका पता लगाने के लिए एक डिटेक्टर का उपयोग कर सकते हैं। दूसरे पर हम एक गेंद का भी पता लगा सकते हैं, और अगर यह अकेले है, तो सब कुछ ठीक है: हम कहते हैं कि पिछले फ्रेम पर मुक्केबाजी उसी गेंद की मुक्केबाजी है जैसे फ्रेम # 2 पर। तुम भी pimimagesearch दृष्टि पाठ्यक्रम से gif के नीचे, शेष फ्रेम के लिए जारी रख सकते हैं।


वैसे, समय बचाने के लिए, हम दूसरे फ्रेम में तंत्रिका नेटवर्क शुरू नहीं कर सकते हैं, लेकिन बस पहली फ्रेम से गेंद के बॉक्स को "कट" करते हैं और पिक्सेल द्वारा दूसरे फ्रेम या पिक्सेल में बिल्कुल समान संबंध के लिए देखते हैं। सहसंबंध ट्रैकर्स इस दृष्टिकोण का उपयोग करते हैं, उन्हें सरल और अधिक या कम विश्वसनीय माना जाता है यदि हम "खाली कमरे में कैमरे के सामने एक गेंद को ट्रैक करना" जैसे सरल मामलों से निपट रहे हैं। इस कार्य को विज़ुअल ऑब्जेक्ट ट्रैकिंग भी कहा जाता है। नीचे एक व्यक्ति के उदाहरण का उपयोग करके सहसंबंध ट्रैकर के काम का एक उदाहरण है।


हालांकि, यदि कई डिटेंशन / लोग हैं, तो आपको फ्रेम # 1 से और फ्रेम # 2 से बक्सों का मिलान करने में सक्षम होना चाहिए। पहला विचार जो दिमाग में आता है, वह उस बॉक्स से मिलान करने का प्रयास करना है जिसमें सबसे बड़ा चौराहा क्षेत्र ( IoU ) है। सच है, कई अतिव्यापी हिरासत के मामले में, ऐसा ट्रैकर अस्थिर होगा, इसलिए आपको और भी अधिक जानकारी का उपयोग करने की आवश्यकता है।


IoU के साथ दृष्टिकोण केवल पहचान के "ज्यामितीय" संकेतों पर निर्भर करता है, अर्थात, यह केवल फ्रेम पर निकटता द्वारा उनकी तुलना करने की कोशिश करता है। लेकिन हमारे पास एक पूरी छवि है (इस मामले में दो भी), और हम इस तथ्य का उपयोग कर सकते हैं कि इन निरोधों के अंदर "दृश्य" संकेत हैं । इसके अलावा, हमारे पास प्रत्येक व्यक्ति के लिए हिरासत का एक इतिहास है, जो हमें गति की गति और दिशा के आधार पर उसकी अगली स्थिति का अधिक सटीक अनुमान लगाने की अनुमति देता है, इसे सशर्त रूप से "भौतिक" संकेत कहा जा सकता है।


पहले रीयल-टाइम ट्रैकर्स में से एक, जो पूरी तरह से विश्वसनीय था और कठिन परिस्थितियों का सामना करने में सक्षम था, 2016 में प्रकाशित किया गया था सरल ऑनलाइन और रियलटाइम ट्रैकर (पोर्ट) ( पायथन कोड )। SORT ने किसी भी दृश्य संकेत और तंत्रिका नेटवर्क का उपयोग नहीं किया, लेकिन केवल प्रत्येक फ्रेम पर प्रत्येक बॉक्स के कई मापदंडों का अनुमान लगाया: वर्तमान गति (एक्स और वाई अलग से) और आकार (ऊंचाई और चौड़ाई)। किसी बॉक्स का पहलू अनुपात हमेशा उस बॉक्स के पहले पता लगाने से लिया जाता है। इसके अलावा, गति का अनुमान कलमैन फिल्टर (सिग्नल प्रोसेसिंग की दुनिया में आमतौर पर अच्छा और हल्का होता है) के उपयोग से लगाया जाता है, आईओयू द्वारा बक्से के चौराहे का मैट्रिक्स बनाया जाता है, और डेट्स को हंगरी एल्गोरिथम द्वारा सौंपा गया है ।

यदि यह आपको लगता है कि गणित पहले से ही बहुत अधिक हो गया है, तो इस लेख में सब कुछ सुलभ तरीके से समझाया गया है (यह मध्यम है :)।

पहले से ही 2017 में, SORT का एक संशोधन DeepSORT ( TensorFlow के लिए कोड ) के रूप में जारी किया गया था। डीप्सर्ट ने पहले से ही दृश्य संकेतों को निकालने के लिए तंत्रिका नेटवर्क का उपयोग करना शुरू कर दिया है, उनका उपयोग टकरावों को हल करने के लिए किया जाता है। ट्रैकिंग की गुणवत्ता में वृद्धि हुई है - यह कुछ भी नहीं है कि आज इसे सर्वश्रेष्ठ ऑनलाइन ट्रैकर्स में से एक माना जाता है।


ट्रैकिंग का क्षेत्र वास्तव में सक्रिय रूप से विकसित हो रहा है: स्याम देश के तंत्रिका नेटवर्क वाले ट्रैकर्स और आरएनएन के साथ ट्रैकर्स हैं । अपनी उंगली को नाड़ी पर रखें, क्योंकि किसी भी दिन अधिक सटीक और तेज वास्तुकला बाहर आ सकती है (या पहले से ही बाहर आ गई है)। वैसे, पेपर्सविथकोड पर ऐसी चीजों का पालन करना बहुत सुविधाजनक है, हमेशा उनके लिए लेख और कोड के लिंक होते हैं (यदि कोई हो)।

अंतभाषण

हमने वास्तव में बहुत कुछ अनुभव किया है और बहुत कुछ सीखा है। लेकिन कंप्यूटर की दृष्टि एक बहुत बड़ा क्षेत्र है, और मैं एक बहुत जिद्दी व्यक्ति हूं। यही कारण है कि हम आपको इस चक्र के तीसरे लेख में देखेंगे (क्या यह अंतिम होगा? कौन जानता है ...), जहां हम और अधिक विस्तार में चर्चा करेंगे, आसन मूल्यांकन, एक वीडियो पर कार्यों की मान्यता और एक छवि से पीढ़ी के विवरण पर एक छवि से नेटवर्क का उपयोग करते हुए।

पुनश्च मैं अपनी मूल्यवान सलाह और इस और पिछले लेख की तैयारी में टिप्पणियों के लिए वादिम गोर्बाचेव के लिए विशेष धन्यवाद व्यक्त करना चाहता हूं।