कई वर्ण - कई तंत्रिका नेटवर्क: बड़ी संख्या में वर्गों के लिए एक प्रभावी मान्यता प्रणाली का निर्माण कैसे करें?

पिछले लेखों में, उन्होंने पहले ही लिखा था कि हमारी पाठ पहचान तकनीक कैसे काम करती है:


2018 तक, जापानी और चीनी पात्रों की मान्यता उसी तरह से व्यवस्थित की गई थी: मुख्य रूप से रेखापुंज और फीचर क्लासिफायर का उपयोग करना। लेकिन चित्रलिपि की मान्यता के साथ कठिनाइयाँ हैं:

1. वर्गों की एक बड़ी संख्या को प्रतिष्ठित करने की आवश्यकता है।
2. एक पूरे के रूप में अधिक जटिल उपकरण चरित्र।

यह स्पष्ट रूप से कहना मुश्किल है कि चीनी वर्णमाला के लिखित रूप में कितने वर्ण हैं, क्योंकि रूसी में कितने शब्द गिनना सटीक है। लेकिन सबसे अधिक बार चीनी लेखन में ~ 10,000 अक्षरों का उपयोग किया जाता है। उनके साथ हमने मान्यता में प्रयुक्त वर्गों की संख्या को सीमित किया।

ऊपर वर्णित दोनों समस्याएं इस तथ्य की ओर भी ले जाती हैं कि उच्च गुणवत्ता प्राप्त करने के लिए आपको बड़ी संख्या में संकेतों का उपयोग करना होगा और इन संकेतों की गणना अब वर्णों की छवियों पर की जाती है।

ताकि इन समस्याओं को पूरे मान्यता प्रणाली में गंभीर मंदी का सामना न करना पड़े, मुझे बहुत अधिक उत्तराधिकारियों का उपयोग करना पड़ा, मुख्य रूप से इसका उद्देश्य बड़ी संख्या में चित्रलिपि को काट देना था, जो निश्चित रूप से यह तस्वीर नहीं लगती है। यह अभी भी अंत तक मदद नहीं करता था, लेकिन हम अपनी तकनीक को एक नए स्तर पर लाना चाहते थे।

हमने गुणात्मक तंत्रिका नेटवर्क की प्रयोज्यता का अध्ययन करना शुरू किया ताकि दोनों गुणवत्ता और चित्रलिपि की मान्यता की गति को बढ़ाया जा सके। मैं तंत्रिका नेटवर्क की मदद से इन भाषाओं के लिए एक एकल चरित्र को पहचानने के लिए पूरी इकाई को बदलना चाहता था। इस लेख में, हम वर्णन करेंगे कि हम आखिरकार कैसे सफल हुए।

एक सरल दृष्टिकोण: सभी पदानुक्रमों को पहचानने के लिए एक दृढ़ संकल्प नेटवर्क

सामान्य तौर पर, चरित्र पहचान के लिए दृढ़ नेटवर्क का उपयोग एक नया विचार नहीं है। ऐतिहासिक रूप से, वे 1998 में इस कार्य के लिए पहली बार ठीक उपयोग किए गए थे । सच है, तब ये मुद्रित वर्ण नहीं थे, लेकिन अंग्रेजी अक्षरों और संख्याओं को हस्तलिखित किया गया था।



20 वर्षों में, गहरी सीखने के क्षेत्र में प्रौद्योगिकी, निश्चित रूप से, आगे छलांग लगा चुकी है। जिसमें अधिक उन्नत आर्किटेक्चर और सीखने के लिए नए दृष्टिकोण शामिल हैं।

ऊपर (लेनेट) में आरेख में प्रस्तुत वास्तुकला, वास्तव में, और आज मुद्रित पाठ की मान्यता जैसे सरल कार्यों के लिए बहुत अच्छी तरह से अनुकूल है। "सरल" मैं इसे कंप्यूटर विज़न के अन्य कार्यों की तुलना में कहता हूं जैसे कि चेहरे की खोज और पहचान।

ऐसा लगता है कि समाधान कहीं सरल नहीं है। हम एक तंत्रिका नेटवर्क लेते हैं, लेबल चित्रलिपि का एक नमूना लेते हैं और इसे वर्गीकरण समस्या के लिए प्रशिक्षित करते हैं। दुर्भाग्य से, यह पता चला कि सब कुछ इतना सरल नहीं है। 10,000 चित्रलिपि को वर्गीकृत करने के कार्य के लिए LeNet के सभी संभावित संशोधनों ने पर्याप्त गुणवत्ता (कम से कम हमारे पास पहले से मौजूद मान्यता प्रणाली के बराबर) प्रदान नहीं की।

आवश्यक गुणवत्ता प्राप्त करने के लिए, हमें गहन और अधिक जटिल आर्किटेक्चर पर विचार करना था: वाइडइंडनेट, स्क्वीज़नेट, आदि। उनकी सहायता से, आवश्यक गुणवत्ता स्तर को प्राप्त करना संभव था, लेकिन उन्होंने सीपीयू पर बुनियादी एल्गोरिथ्म की तुलना में 3-5 बार गति में एक मजबूत गिरावट दी।

कोई व्यक्ति पूछ सकता है: "सीपीयू पर नेटवर्क की गति को मापने का क्या मतलब है, अगर यह ग्राफिक्स प्रोसेसर (जीपीयू) पर बहुत तेजी से काम करता है"? यहां यह इस तथ्य के बारे में एक टिप्पणी करने के लायक है कि सीपीयू पर एल्गोरिथ्म की गति हमारे लिए मुख्य रूप से महत्वपूर्ण है। हम ABBYY की पहचान उत्पादों की बड़ी लाइन के लिए प्रौद्योगिकी विकसित कर रहे हैं। सबसे बड़ी संख्या में, ग्राहक की ओर से मान्यता दी जाती है, और हम यह नहीं जान सकते हैं कि यह एक GPU है।

इसलिए, अंत में, हम निम्नलिखित समस्या पर आए: वास्तुकला की पसंद के आधार पर सभी वर्णों को पहचानने के लिए एक तंत्रिका नेटवर्क या तो बहुत बुरी तरह से या बहुत धीरे-धीरे काम करता है।

दो-स्तरीय तंत्रिका नेटवर्क चित्रलिपि पहचान मॉडल

मुझे दूसरा रास्ता देखना था। उसी समय, मैं तंत्रिका नेटवर्क को छोड़ना नहीं चाहता था। ऐसा लगता था कि सबसे बड़ी समस्या बड़ी संख्या में कक्षाएं थीं, क्योंकि इसके लिए जटिल वास्तुकला के नेटवर्क का निर्माण करना आवश्यक था। इसलिए, हमने तय किया कि हम बड़ी संख्या में कक्षाओं के लिए एक नेटवर्क को प्रशिक्षित नहीं करेंगे, अर्थात् पूरी वर्णमाला के लिए, लेकिन इसके बजाय हम बहुत से वर्गों के लिए बहुत से नेटवर्क (वर्णमाला के सबसेट) को प्रशिक्षित करेंगे।

सामान्य विवरण में, आदर्श प्रणाली निम्नानुसार प्रस्तुत की गई थी: वर्णमाला को समान वर्णों के समूहों में विभाजित किया गया है। पहले स्तर का नेटवर्क वर्गीकृत करता है कि किसी दिए गए चित्र के पात्रों का कौन सा समूह है। प्रत्येक समूह के लिए, बदले में, एक दूसरे-स्तरीय नेटवर्क को प्रशिक्षित किया जाता है, जो प्रत्येक समूह के भीतर अंतिम वर्गीकरण का उत्पादन करता है।

क्लिक करने योग्य छवि


इस प्रकार, हम दो नेटवर्क लॉन्च करके अंतिम वर्गीकरण बनाते हैं: पहला निर्धारित करता है कि कौन सा दूसरे स्तर का नेटवर्क लॉन्च करना है, और दूसरा पहले से ही अंतिम वर्गीकरण बनाता है।

दरअसल, यहां मूल बिंदु यह है कि पात्रों को समूहों में कैसे बांटा जाए ताकि पहले स्तर के नेटवर्क को सटीक और तेज बनाया जा सके।

प्रथम स्तर के क्लासिफायरियर का निर्माण

यह समझने के लिए कि कौन से नेटवर्क प्रतीकों में अंतर करना आसान है और कौन से अधिक कठिन हैं, यह देखना आसान है कि विशेष प्रतीकों के लिए कौन से संकेत खड़े हैं। ऐसा करने के लिए, हमने वर्णमाला के सभी वर्णों को अच्छी गुणवत्ता के साथ अलग करने के लिए प्रशिक्षित एक क्लासिफायर नेटवर्क लिया और इस नेटवर्क की पारगम्य परत के सक्रियण आँकड़ों को देखा - हमने अंतिम विशेषता निरूपण को देखना शुरू किया जो कि नेटवर्क सभी पात्रों को प्राप्त करता है।

उसी समय, हमें पता था कि वहाँ की तस्वीर कुछ इस तरह होनी चाहिए:



10 वर्गों में हस्तलिखित अंकों (MNIST) के चयन को वर्गीकृत करने के मामले में यह एक सरल उदाहरण है। वर्गीकरण से पहले जाने वाली छिपी हुई परत पर, केवल 2 न्यूरॉन्स होते हैं, जो विमान पर उनके सक्रियण आंकड़ों को प्रदर्शित करना आसान बनाता है। ग्राफ पर प्रत्येक बिंदु परीक्षण नमूने से कुछ उदाहरण से मेल खाता है। बिंदी का रंग एक विशिष्ट वर्ग से मेल खाता है।

हमारे मामले में, फीचर स्पेस का आयाम उदाहरण में 128 से अधिक था। हमने एक परीक्षण नमूने से छवियों का एक समूह चलाया और प्रत्येक छवि के लिए एक फीचर वेक्टर प्राप्त किया। उसके बाद, उन्हें सामान्यीकृत किया गया (लंबाई से विभाजित)। ऊपर की तस्वीर से यह स्पष्ट है कि यह क्यों करने योग्य है। हमने केमन्स विधि द्वारा सामान्यीकृत वैक्टरों को क्लस्टर किया। हमें समान (नेटवर्क बिंदु से) छवियों के समूहों में नमूने का टूटना मिला।

लेकिन अंत में, हमें समूहों में वर्णमाला का एक विभाजन प्राप्त करने की आवश्यकता थी, न कि परीक्षण नमूने का विभाजन। लेकिन दूसरे के पहले को प्राप्त करना मुश्किल नहीं है: यह प्रत्येक वर्ग लेबल को क्लस्टर में असाइन करने के लिए पर्याप्त है जिसमें इस वर्ग की सबसे अधिक छवियां हैं। ज्यादातर स्थितियों में, निश्चित रूप से, पूरी कक्षा एक क्लस्टर के अंदर भी समाप्त हो जाएगी।

खैर, यह सब है, हमें पूरे वर्णमाला का विभाजन समान वर्णों के समूहों में मिला। फिर यह एक साधारण वास्तुकला चुनने और इन समूहों के बीच अंतर करने के लिए क्लासिफायरियर को प्रशिक्षित करने के लिए रहता है।

यहां यादृच्छिक 6 समूहों का एक उदाहरण दिया गया है, जो पूरे स्रोत वर्णमाला को 500 समूहों में विभाजित करके प्राप्त किए जाते हैं:

दूसरे स्तर के क्लासिफायर का निर्माण

इसके बाद, आपको यह तय करने की जरूरत है कि कौन सा लक्ष्य चरित्र सेट करता है दूसरे स्तर के क्लासीफायर सीखेंगे। उत्तर स्पष्ट प्रतीत होता है - ये पिछले चरण में प्राप्त वर्णों के समूह होने चाहिए। यह काम करेगा, लेकिन हमेशा अच्छी गुणवत्ता के साथ नहीं।

तथ्य यह है कि पहले स्तर का क्लासिफायरियर किसी भी मामले में गलतियाँ करता है और वे दूसरे स्तर के सेटों के निर्माण से आंशिक रूप से ऑफसेट हो सकते हैं:

• हम प्रतीक छवियों का एक अलग नमूना तय करते हैं (प्रशिक्षण में या परीक्षण में भाग नहीं लेते);
• हम इस नमूने को एक प्रशिक्षित प्रथम-स्तरीय क्लासिफ़ायर के माध्यम से चलाते हैं, प्रत्येक चित्र को इस क्लासिफ़ायर (समूह लेबल) के लेबल के साथ चिह्नित करते हैं;
• प्रत्येक प्रतीक के लिए, हम उन सभी संभावित समूहों पर विचार करते हैं जिनमें से प्रथम स्तर का क्लासिफायरियर इस प्रतीक की छवियों से संबंधित है;
• इस प्रतीक को सभी समूहों में तब तक जोड़ें जब तक कि आवश्यक डिग्री T_acc तक न पहुंच जाए;
• हम प्रतीकों के अंतिम समूहों को दूसरे स्तर के लक्ष्य सेट के रूप में मानते हैं, जिस पर क्लासिफायर का प्रशिक्षण दिया जाएगा।

उदाहरण के लिए, प्रतीक "ए" की छवियों को पहले स्तर के क्लासिफायरफायर द्वारा 980 बार 5 वें समूह को, 19 बार 2 समूह को और 1 बार 6 वें समूह को सौंपा गया था। कुल में हमारे पास इस प्रतीक के 1000 चित्र हैं।

फिर हम 5 वें समूह में प्रतीक "ए" जोड़ सकते हैं और इस प्रतीक का 98% कवरेज प्राप्त कर सकते हैं। हम इसे 5 वें और 2 वें समूह में शामिल कर सकते हैं और 99.9% कवरेज प्राप्त कर सकते हैं। और हम तुरंत समूहों (5, 2, 6) को इसका श्रेय दे सकते हैं और 100% कवरेज प्राप्त कर सकते हैं।

संक्षेप में, T_acc गति और गुणवत्ता के बीच कुछ संतुलन स्थापित करता है। यह जितना अधिक होगा, उच्चतर वर्गीकरण का अंतिम गुण होगा, लेकिन बड़ा दूसरे स्तर के लक्ष्य सेट और दूसरे स्तर पर वर्गीकरण जितना कठिन होगा।

अभ्यास से पता चलता है कि T_acc = 1 के साथ भी, ऊपर वर्णित पुनरावृत्ति प्रक्रिया के परिणामस्वरूप सेट के आकार में वृद्धि इतनी महत्वपूर्ण नहीं है - औसतन, लगभग 2 बार। जाहिर है, यह सीधे प्रशिक्षित प्रथम-स्तरीय क्लासिफायर की गुणवत्ता पर निर्भर करेगा।

यहाँ इस बात का एक उदाहरण दिया गया है कि कैसे यह पूरा होने पर एक ही विभाजन से 500 समूहों में से एक के लिए काम करता है, जो अधिक था:

मॉडल एम्बेड परिणाम

प्रशिक्षित दो-स्तरीय मॉडल ने पहले इस्तेमाल किए गए क्लासिफायर की तुलना में अंत में तेजी से और बेहतर काम किया है। वास्तव में, समान रैखिक विभाजन ग्राफ (GLD) के साथ "दोस्त बनाना" इतना आसान नहीं था। ऐसा करने के लिए, मुझे एक प्राथमिकता कचरा और रेखा विभाजन त्रुटियों (इन स्थितियों में कम आत्मविश्वास लौटाने) से पात्रों को अलग करने के लिए मॉडल को अलग से सिखाना पड़ा।

नीचे पूर्ण दस्तावेज़ मान्यता एल्गोरिथ्म में एम्बेड करने का अंतिम परिणाम (चीनी और जापानी दस्तावेजों के संग्रह पर प्राप्त), गति को पूर्ण एल्गोरिथ्म के लिए संकेत दिया गया है:


हमने तंत्रिका नेटवर्क पर सभी वर्ण पहचान को स्थानांतरित करते हुए, गुणवत्ता और सामान्य और तेज मोड दोनों में तेजी लाई।

एंड-टू-एंड मान्यता के बारे में थोड़ा

आज, अधिकांश सार्वजनिक रूप से ज्ञात ओसीआर सिस्टम (गूगल से एक ही टेस्सेक्ट) तंत्रिका नेटवर्क के एंड-टू-एंड आर्किटेक्चर का उपयोग स्ट्रिंग्स या इसके अंशों को पूरी तरह से पहचानने के लिए करते हैं। लेकिन यहां हमने एकल चरित्र मान्यता मॉड्यूल के प्रतिस्थापन के रूप में तंत्रिका नेटवर्क का सटीक उपयोग किया है। यह कोई दुर्घटना नहीं है।

तथ्य यह है कि मुद्रित चीनी और जापानी में वर्णों में एक तार का विभाजन मोनोपॉज़ मुद्रण के कारण एक बड़ी समस्या नहीं है। इस संबंध में, इन भाषाओं के लिए एंड-टू-एंड मान्यता का उपयोग गुणवत्ता में बहुत सुधार नहीं करता है, लेकिन यह बहुत धीमा है (कम से कम सीपीयू पर)। सामान्य तौर पर, यह स्पष्ट नहीं है कि एंड-टू-एंड संदर्भ में प्रस्तावित दो-स्तरीय दृष्टिकोण का उपयोग कैसे करें।

इसके विपरीत, ऐसी भाषाएँ हैं जिनके लिए वर्णों में रैखिक विभाजन एक महत्वपूर्ण समस्या है। स्पष्ट उदाहरण अरबी, हिंदी हैं। अरबी के लिए, उदाहरण के लिए, एंड-टू-एंड समाधान हमारे साथ पहले से ही सक्रिय रूप से अध्ययन कर रहे हैं। लेकिन यह पूरी तरह से अलग कहानी है।

एलेक्सी ज़ुरावलेव, ओसीआर न्यू टेक्नोलॉजीज ग्रुप के प्रमुख