इस गर्मी में, हमने तंत्रिका नेटवर्क को यह निर्धारित करने के लिए सिखाया कि क्या छवि पर एक दस्तावेज़ मौजूद है, और यदि ऐसा है, तो कौन सा।

इसकी आवश्यकता क्यों है

कर्मचारियों को उतारने और लोगों को स्कैमर से बचाने के लिए। हम दो क्षेत्रों में नए तंत्रिका नेटवर्क का उपयोग करते हैं: जब उपयोगकर्ता पृष्ठ तक पहुंच प्राप्त करता है और सामान्य खोज से व्यक्तिगत दस्तावेजों को छिपाने के लिए।

पृष्ठों तक पहुंच बहाल करना। दस्तावेजों की तस्वीरें उनके वास्तविक मालिकों को रिटर्न खाते में मदद करती हैं। उदाहरण के लिए, किसी उपयोगकर्ता ने अपने फोन नंबर तक पहुंच खो दी हो या पृष्ठ पर दो-चरणीय प्रमाणीकरण सक्रिय हो गया हो, और प्रविष्टि की पुष्टि करने के लिए एक बार कोड प्राप्त करने का कोई अवसर नहीं है। नए विकास अनुप्रयोगों के विचार को गति देते हैं: मध्यस्थों को अब हर बार गलत तरीके से भरे गए आवेदनों को वापस नहीं करना पड़ता है। सिस्टम केवल विज़िटर को आवश्यक छवियों के बिना फ़ॉर्म जमा करने की अनुमति नहीं देता है और दस्तावेज़ के साथ यादृच्छिक छवि को बदलने के लिए कहता है। निश्चित रूप से, हम अभी भी पृष्ठ पर पहुंच को केवल तभी वापस कर सकते हैं जब उसके पास स्वामी की वास्तविक तस्वीरें हों। हम खातों की सुरक्षा और व्यक्तिगत डेटा के संरक्षण के बारे में बात कर रहे हैं - जिसका मतलब है कि बस कोई भूल-भुलैया और दुर्घटना नहीं हो सकती है।

" दस्तावेज़ " अनुभाग में खोज परिणामों को फ़िल्टर करना। सभी दस्तावेज़ जो उपयोगकर्ता इस खंड पर अपलोड करते हैं या निजी संदेशों के माध्यम से भेजते हैं, वे डिफ़ॉल्ट रूप से आंखों की आंखों से छिप जाते हैं और खोज परिणामों में नहीं आते हैं। लेकिन प्रत्येक व्यक्तिगत फ़ाइल के लिए गोपनीयता के स्तर को स्वयं कॉन्फ़िगर किया जा सकता है। तंत्रिका नेटवर्क के आगमन से पहले, कोई व्यक्ति कीवर्ड का उपयोग करके संवेदनशील डेटा के साथ दस्तावेजों की एक सभ्य राशि पा सकता है। इन फ़ाइलों के मालिकों ने स्वयं गोपनीयता सेटिंग्स बदल दीं। हमने उपयोगकर्ताओं को सुरक्षित किया और एक सार्वजनिक खोज से फ़ोटो निकालना शुरू किया जिसमें हम दस्तावेज़ की उपस्थिति निर्धारित कर सकते हैं।

हमने समस्या का समाधान कैसे किया

ऐसा लगता है कि एक छवि में दस्तावेजों की पहचान करने का सबसे आसान तरीका एक तंत्रिका नेटवर्क स्थापित करना है या इसे एक बड़े नमूने में खरोंच से प्रशिक्षित करना है। लेकिन इतना सरल नहीं है।

नमूना प्रतिनिधि होना चाहिए। प्रत्येक विकल्प के लिए पर्याप्त संख्या में वास्तविक नमूने प्राप्त करना मुश्किल है: सार्वजनिक डोमेन में इन दस्तावेजों के साथ कोई सार्वजनिक डेटाबेस नहीं हैं।

कई प्रणालियां हैं जो दस्तावेजों को पहचानती हैं और पार्स करती हैं। आमतौर पर वे एक तस्वीर से विशिष्ट जानकारी प्राप्त करने के उद्देश्य से होते हैं और मूल छवि की आदर्श गुणवत्ता का सुझाव देते हैं। उदाहरण के लिए, उपयोगकर्ता को टेम्पलेट के किनारों के साथ पासपोर्ट को संरेखित करने की आवश्यकता हो सकती है, क्योंकि यह राज्य सेवा पोर्टल पर काम करता है।

ऐसी प्रणालियाँ हमारे कार्यों के लिए उपयुक्त नहीं हैं। हम अलग से स्पष्ट करते हैं कि पहुंच की बहाली के लिए हमसे संपर्क करते समय, उपयोगकर्ता दस्तावेज़ पर सभी फ़ोटो, प्रथम नाम, अंतिम नाम और प्रिंट को छोड़कर बंद कर सकता है । उसी समय, हमें अभी भी दस्तावेज़ को निर्धारित करने की आवश्यकता है - भले ही उस पर श्रृंखला और संख्या छिपी हो, अगर पासपोर्ट परिवेश के साथ लिया गया है, या, इसके विपरीत, तस्वीर के साथ दस्तावेज़ का केवल हिस्सा छवि पर दिखाई दिया। अभी भी विभिन्न प्रकाश और कोणों पर विचार करने की आवश्यकता है। तंत्रिका नेटवर्क को ऐसी सभी सामग्रियों को स्वीकार करना चाहिए। सवाल यह है कि उसे यह कैसे सिखाया जाए।

अन्य कठिनाइयाँ हैं। उदाहरण के लिए, पासपोर्ट को अन्य प्रकार के दस्तावेजों के साथ-साथ विभिन्न हस्तलिखित और मुद्रित पत्रों से अलग करना मुश्किल है।

आसान रास्ता तय करने की कोशिश बहुत सफल नहीं रही। परिणामी क्लासिफायर कमजोर हो गया, पहली तरह की छोटी सी त्रुटि और दूसरी की बड़ी त्रुटि। उदाहरण के लिए, ऐसे दिलचस्प मामले थे जब किसी व्यक्ति ने नाम और उपनाम को हाथ से लिखा, एक तस्वीर खींची, एक पासपोर्ट का कवर - और सिस्टम ने इस तरह के दस्तावेज़ को गैर-स्वीकार किया।

हम क्या करने आए हैं?

हमारी स्थिति में, समस्या का सबसे अच्छा समाधान एक दस्तावेज को पहचानने और उसके प्रकार को निर्धारित करने के लिए ग्रिड और फेस डिटेक्टरों के एक समूह का उपयोग करना था। हमने एक डिफरेंशियल क्लासिफायरिफायर भी जोड़ा है, जिसमें विशिष्ट विशेषताओं को हाइलाइट करने के लिए एक एनकोडर और एक फॉर्म क्लासिफायर शामिल है, जो आपको अप्रासंगिक फाइलों से दस्तावेज़ की छवियों को अलग करने की अनुमति देता है। इसके अलावा, डेटासेट को सामान्य करने के लिए प्रशिक्षण सेट की प्रारंभिक क्लस्टरिंग की जाती है। आर्किटेक्चर में, वीजीजी और रेसनेट ने अपना सर्वश्रेष्ठ साबित किया है ।



बेसिक “डॉक्यूमेंट / नॉन-डॉक्यूमेंट” क्लासिफायर 19 लेयर्स और एक ज़ोनड सैंपल के साथ ट्यून किए गए VGG के आधार पर काम करता है। इसके ऊपर, क्लासिफायर का एक संयुक्त पहनावा उपयोग किया जाता है, जो दूसरी तरह की त्रुटि को कम करता है और परिणाम को अलग करता है। पहले स्तरीकृत नमूनाकरण आता है , फिर पास-लूप जानकारी निकालने के लिए एक एनकोडर, फिर एक संशोधित वीजीजी और अंत में एक ग्रिड। इस दृष्टिकोण ने पहली तरह की त्रुटियों को लगभग 0.002 के स्तर तक कम करना संभव बना दिया। इस मामले में झूठी नकारात्मक की संभावना चयनित डेटासेट और विशिष्ट एप्लिकेशन पर निर्भर करती है।

अब हमने सीखा है कि चित्र में पासपोर्ट और ड्राइवर के लाइसेंस की उपस्थिति का स्वचालित रूप से पता कैसे लगाया जाए। मान्यता सफलतापूर्वक किसी भी कोण पर, किसी भी पृष्ठभूमि के साथ, यहां तक ​​कि खराब प्रकाश व्यवस्था की स्थिति में भी होती है - मुख्य बात यह है कि छवि में तस्वीर और नाम के साथ दस्तावेज़ का एक हिस्सा होता है। हालांकि, अन्य प्रकार के दस्तावेजों की पहचान करने के लिए, केवल प्रासंगिक डेटासेट की आवश्यकता होगी। हम अपने स्वयं के डेटा पर नेटवर्क को प्रशिक्षित करते हैं, दस्तावेजों का नमूना आकार पांच से दस हजार तक है (लेकिन यह प्रतिनिधि नहीं है)। अन्य छवियों के लिए, नमूना मनमाना है, लेकिन वहां और वहां दोनों की प्राथमिकता है।

तकनीकी दृष्टिकोण से, सिस्टम को अजगर / केरस / टेंसोरफ्लो / ग्लिब / ओपेंसेव में लिखा गया है। नई प्रणाली के व्यावहारिक अनुप्रयोग के लिए, इसे मशीन सीखने के बुनियादी ढांचे के अजगर-संचालकों में एकीकृत करने के लिए पर्याप्त है। एक ही चरण में, ग्राफिक संपादकों में एक फोटो परिवर्तन डिटेक्टर जोड़ा जाता है, लेकिन यह विषय एक अलग लेख के योग्य है।

परिणाम क्या है?

अब एक्सेस की बहाली के लिए आवेदन के 6% स्वचालित रूप से दस्तावेज़ की एक तस्वीर जोड़ने या बदलने के अनुरोध के साथ लेखक को वापस कर दिए जाते हैं, और 2.5% आवेदन खारिज कर दिए जाते हैं। यदि आप एक चित्र में संपूर्ण आंकड़े और चेहरे की खोज सहित संपूर्ण के रूप में छवियों के विश्लेषण को देखते हैं, तो यह विभाग के काम का 20% तक स्वचालित करता है ।

तंत्रिका नेटवर्क के लॉन्च के बाद, हम "दस्तावेज़" अनुभाग में अपलोड किए गए पासपोर्ट की संख्या की गणना करने में भी सक्षम थे। यह पता चला कि सामान्य खोज परिणामों में हर दिन लगभग दो हजार पहचान पत्र थे। अब संभावना है कि वे बाहरी हाथों में गिरेंगे न्यूनतम है।

तंत्रिका नेटवर्क पहले से ही स्पैम और सभी प्रकार की धोखाधड़ी से लड़ने में हमारी मदद कर रहे हैं। हम प्रयोगों को रोकते नहीं हैं और अपने ब्लॉग में उनके बारे में बात करना जारी रखते हैं।