कंप्यूटर दृष्टि के साथ खुदरा फोटो सत्यापन

प्रविष्टि

उधार कार्यक्रम के हिस्से के रूप में, बैंक कई खुदरा स्टोरों के साथ सहयोग करता है।
एक ऋण आवेदन के प्रमुख तत्वों में से एक उधारकर्ता की एक तस्वीर है - पार्टनर स्टोर का एक एजेंट खरीदार की तस्वीरें खींचता है; ऐसी तस्वीर ग्राहक की "व्यक्तिगत फाइल" में आती है और भविष्य में ऋण के लिए आवेदन करने के समय बिंदु पर उसकी उपस्थिति की पुष्टि करने के तरीकों में से एक के रूप में उपयोग की जाती है।

दुर्भाग्य से, हमेशा एक एजेंट के बेईमान व्यवहार का खतरा होता है जो बैंक को गलत तस्वीरें स्थानांतरित कर सकता है - उदाहरण के लिए, सामाजिक नेटवर्क या पासपोर्ट से ग्राहक की तस्वीरें।

आमतौर पर, बैंक फोटो को सत्यापित करके इस समस्या को हल करते हैं - कार्यालय के कर्मचारी तस्वीरों को देखते हैं और गलत चित्रों की पहचान करने की कोशिश करते हैं।
हम प्रक्रिया को स्वचालित करने और तंत्रिका नेटवर्क का उपयोग करके समस्या को हल करने का प्रयास करना चाहते थे।

कार्य औपचारिकता

हमने केवल उन तस्वीरों की जांच की जिनमें लोग हैं। खुले Dlib लाइब्रेरी के उपयोग से फेसलेस तस्वीरों को काटा जा सकता है।

स्पष्टता के लिए, हम तस्वीरों के उदाहरण देते हैं (बैंक कर्मचारियों को चित्रित किया गया है):


चित्र 1. बिक्री के बिंदु से तस्वीरें


अंजीर। 2. सामाजिक नेटवर्क से तस्वीरें


अंजीर 3. पासपोर्ट फोटो

इसलिए, हमें फोटोग्राफ की पृष्ठभूमि का विश्लेषण करने वाले मॉडल को लिखने की आवश्यकता है। उसके काम का परिणाम इस संभावना को निर्धारित करना था कि फोटो हमारे भागीदारों की बिक्री के बिंदुओं में से एक पर लिया गया था। हमने इस समस्या को हल करने के तीन तरीकों की पहचान की: बिक्री, वर्गीकरण के समान बिंदु पर अन्य तस्वीरों के साथ विभाजन। आइए उनमें से प्रत्येक पर अधिक विस्तार से विचार करें।

ए) विभाजन

पहली बात जो दिमाग में आई, वह थी इस समस्या को हल करके, पार्टनर स्टोर्स की पृष्ठभूमि वाले क्षेत्रों की पहचान करके।

विपक्ष:

• प्रशिक्षण नमूना तैयार करने में बहुत अधिक समय लगता है।
• इस मॉडल पर निर्मित एक सेवा जल्दी से काम नहीं करेगी।

केवल वैकल्पिक विकल्पों के त्याग के मामले में इस पद्धति पर लौटने का निर्णय लिया गया था। Spoiler: वापस नहीं आया।

बी) बिक्री के एक ही बिंदु पर अन्य तस्वीरों के साथ तुलना

फोटो के साथ मिलकर, हमें जानकारी मिलती है कि यह किस विशेष खुदरा स्टोर में बनाया गया था। यही है, हमारे पास बिक्री के समान बिंदुओं पर लिए गए चित्रों के समूह हैं। प्रत्येक समूह में फ़ोटो की कुल संख्या कुछ इकाइयों से कई हजार तक भिन्न होती है।

एक और विचार सामने आया: एक मॉडल का निर्माण करना जो दो तस्वीरों की तुलना करेगा और इस संभावना की भविष्यवाणी करेगा कि उन्हें बिक्री के एक बिंदु पर लिया गया था। फिर हम उसी स्टोर में मौजूदा तस्वीरों के साथ नए प्राप्त फोटो की तुलना कर सकते हैं। यदि यह उनके समान निकला, तो तस्वीर निश्चित रूप से विश्वसनीय है। यदि तस्वीर को तस्वीर से बाहर खटखटाया जाता है, तो हम इसे मैन्युअल सत्यापन के लिए भेजते हैं।

विपक्ष:

• असंतुलित नमूना।
• यदि बिक्री के बिंदु पर बहुत सारे फोटो हैं तो सेवा लंबे समय तक काम करेगी।
• जब बिक्री का एक नया बिंदु दिखाई देता है, तो आपको मॉडल को पुनः प्राप्त करने की आवश्यकता होती है।

नुकसान के बावजूद, हमने तंत्रिका नेटवर्क VGG-16 और ResNet-50 के ब्लॉक का उपयोग करके लेख से मॉडल को लागू किया। और ... उन्हें दोनों मामलों में 50% से अधिक सही उत्तरों का प्रतिशत नहीं मिला :(

ख) वर्गीकरण!

सबसे आकर्षक विचार एक साधारण क्लासिफायर करना था जो तस्वीरों को 3 समूहों में विभाजित करेगा: बिक्री के बिंदुओं से फोटो, पासपोर्ट से और सामाजिक नेटवर्क से। यह केवल यह सत्यापित करने के लिए बना हुआ है कि यह दृष्टिकोण काम करता है या नहीं। खैर, प्रशिक्षण के लिए डेटा तैयार करने में भी कुछ समय बिताएं।

डेटा की तैयारी

Dlib पुस्तकालय का उपयोग करते हुए सामाजिक नेटवर्क से छवियों के डेटासेट में, केवल उन फ़ोटो को चुना गया था जिनमें लोग हैं।

केवल चेहरे को छोड़कर पासपोर्ट तस्वीरों को अलग तरह से ट्रिम किया जाना था। यहां फिर से डेलिब बचाव में आए। काम का सिद्धांत इस तरह से निकला: पुस्तकालय का उपयोग करके चेहरे के निर्देशांक पाए गए -> चेहरे को छोड़कर पासपोर्ट फोटो काट दिया।

प्रत्येक 3 वर्गों में 40,000 तस्वीरें छोड़ी गईं। डेटा वृद्धि के बारे में मत भूलना

आदर्श

इस्तेमाल किया ResNet-50। उन्होंने असंतुष्ट वर्गों के साथ समस्या को बहुस्तरीय वर्गीकरण समस्या के रूप में हल किया। यही है, यह माना जाता था कि एक तस्वीर केवल एक वर्ग की हो सकती है।

model = keras.applications.resnet50.ResNet50() model.layers.pop() for layer in model.layers: layer.trainable=True last = model.layers[-1].output x = Dense(3, activation="softmax")(last) resnet50_1 = Model(model.input, x) resnet50_1.compile(optimizer=Adam(lr=0.00001), loss='categorical_crossentropy', metrics=[ 'accuracy']) 

परिणाम

परीक्षण के नमूने में, 24,000 चित्र छोड़े गए, यानी 20%। त्रुटि मैट्रिक्स निम्नानुसार था:


सामाजिक जाल - सामाजिक नेटवर्क;
पासपोर्ट - पासपोर्ट;
पॉज़-क्रेडिट - बिक्री के बिंदु, साझेदार जो ऋण प्रदान करते हैं।

त्रुटियों का कुल प्रतिशत 1.6% है, बिक्री के बिंदुओं से फोटो के लिए - 1.2%। अधिकांश त्रुटिपूर्ण परिभाषित छवियां एक ही समय में दो वर्गों के समान छवियां हैं। उदाहरण के लिए, पॉज़-क्रेडिट वर्ग से लगभग सभी गलत तरीके से परिभाषित तस्वीरें असफल कोणों से ली गई थीं (सफेद दीवार के खिलाफ, केवल चेहरा दिखाई देता है)। इसलिए, वे भी सामाजिक नेट क्लास से फ़ोटो के समान थे। ऐसी तस्वीरों की कम अधिकतम संभावना थी।
हमने अधिकतम संभाव्यता के लिए एक सीमा जोड़ी है। यदि अंतिम मूल्य अधिक है - हम क्लासिफायर पर भरोसा करते हैं, तो कम - हम मैनुअल सत्यापन के लिए तस्वीर भेजते हैं।

नतीजतन, फोटोग्राफी के लिए सेवा का परिणाम है



इस तरह दिखता है:

परिणाम

इसलिए, एक सरल मॉडल का उपयोग करते हुए, हमने सीखा कि कैसे स्वचालित रूप से यह निर्धारित किया जाए कि हमारे भागीदारों की बिक्री के बिंदुओं में से एक पर एक तस्वीर ली गई थी। इसने हमें ऋण आवेदन को मंजूरी देने की बड़ी प्रक्रिया का हिस्सा स्वचालित करने की अनुमति दी।