التحقق من الصورة التجزئة مع رؤية الكمبيوتر

الدخول

كجزء من برنامج الإقراض ، يتعاون البنك مع العديد من متاجر البيع بالتجزئة.
أحد العناصر الرئيسية لتطبيق القرض هو صورة للمقترض - يقوم وكيل المتجر الشريك بتصوير المشتري ؛ تقع هذه الصورة في "الملف الشخصي" للعميل وتستخدم في المستقبل كواحدة من الطرق لتأكيد حضوره في وقت تقديم طلب للحصول على قرض.

لسوء الحظ ، هناك دائمًا خطر التصرف غير الأمين من جانب وكيل قد ينقل صورًا غير دقيقة إلى البنك - على سبيل المثال ، صور العملاء من الشبكات الاجتماعية أو جوازات السفر.

عادةً ما تحل البنوك هذه المشكلة عن طريق التحقق من إلقاء نظرة على موظفي مكتب الصور على الصور ومحاولة تحديد صور غير دقيقة.
أردنا أن نحاول أتمتة العملية وحل المشكلة باستخدام الشبكات العصبية.

إضفاء الطابع الرسمي على المهمة

درسنا فقط الصور التي يوجد فيها أشخاص. يمكن قطع الصور المجهولة باستخدام مكتبة Dlib المفتوحة.

للتوضيح ، نقدم أمثلة على الصور (يتم تصوير موظفي البنك):


الشكل 1. صور من نقطة البيع


الشكل 2. صور من الشبكات الاجتماعية


الشكل 3. صورة جواز السفر

لذلك ، كنا بحاجة إلى كتابة نموذج يحلل خلفية الصورة. كانت نتيجة عملها هي تحديد احتمالية التقاط الصورة في إحدى نقاط البيع لشركائنا. حددنا ثلاث طرق لحل هذه المشكلة: التجزئة ، المقارنة مع الصور الأخرى في نفس نقطة البيع ، التصنيف. دعونا نفكر في كل منهم بمزيد من التفصيل.

أ) تجزئة

كان أول ما يتبادر إلى الذهن هو حل هذه المشكلة عن طريق تجزئة الصورة ، وتحديد المناطق ذات الخلفية من المتاجر الشريكة.

سلبيات:

• يستغرق إعداد عينة التدريب الكثير من الوقت.
• لن تعمل الخدمة المبنية على هذا النموذج بسرعة.

تقرر العودة إلى هذه الطريقة فقط في حالة التخلي عن الخيارات البديلة. المفسد: لم يعود.

ب) مقارنة مع الصور الأخرى في نفس نقطة البيع

جنبًا إلى جنب مع الصورة ، نتلقى معلومات حول أي متجر بيع بالتجزئة تم إنشاؤه فيه. وهذا هو ، لدينا مجموعات من الصور التي التقطت في نفس نقاط البيع. يختلف عدد الصور في كل مجموعة من عدة وحدات إلى عدة آلاف.

ظهرت فكرة أخرى: بناء نموذج من شأنه مقارنة صورتين والتنبؤ باحتمال التقاطهما في نقطة بيع واحدة. ثم يمكننا مقارنة الصورة المستلمة حديثًا بالصور الموجودة في المتجر نفسه. إذا اتضح أن تكون مشابهة لهم ، فإن الصورة يمكن الاعتماد عليها بالتأكيد. إذا تم إخراج الصورة من الصورة ، فإننا نرسلها أيضًا للتحقق اليدوي.

سلبيات:

• أخذ العينات غير متوازنة.
• ستعمل الخدمة لفترة طويلة إذا كان هناك الكثير من الصور في نقطة البيع.
• عندما تظهر نقطة بيع جديدة ، فأنت بحاجة إلى إعادة تدريب النموذج.

على الرغم من العيوب ، قمنا بتطبيق النموذج من المقالة باستخدام كتل الشبكات العصبية VGG-16 و ResNet-50. و ... تلقوا نسبة مئوية من الإجابات الصحيحة ليست أعلى بكثير من 50 ٪ في كلتا الحالتين :(

ب) التصنيف!

كانت الفكرة الأكثر إغراء هي جعل مصنف بسيط من شأنه تقسيم الصور إلى 3 مجموعات: الصور من نقاط البيع ، ومن جوازات السفر والشبكات الاجتماعية. يبقى فقط للتحقق ما إذا كان هذا النهج يعمل. حسنًا ، يمكنك أيضًا قضاء بعض الوقت في إعداد البيانات للتدريب.

إعداد البيانات

في مجموعة بيانات الصور من الشبكات الاجتماعية باستخدام مكتبة Dlib ، تم تحديد تلك الصور فقط التي تحتوي على أشخاص.

كان من الضروري قص صور جواز السفر بشكل مختلف ، مع ترك الوجه فقط. هنا مرة أخرى جاء دليب للإنقاذ. لقد تحول مبدأ العمل إلى مثل هذا: استخدام المكتبة وجد إحداثيات الوجه -> قطع صورة جواز السفر ، وترك الوجه.

في كل من الطبقات 3 غادر 40000 صورة. لا تنسى زيادة البيانات

نموذج

يستخدم ResNet-50. لقد قاموا بحل المشكلة كمشكلة تصنيف متعدد الطبقات مع فئات مفككة. وهذا هو ، كان يعتقد أن الصورة يمكن أن تنتمي إلى فئة واحدة فقط.

model = keras.applications.resnet50.ResNet50() model.layers.pop() for layer in model.layers: layer.trainable=True last = model.layers[-1].output x = Dense(3, activation="softmax")(last) resnet50_1 = Model(model.input, x) resnet50_1.compile(optimizer=Adam(lr=0.00001), loss='categorical_crossentropy', metrics=[ 'accuracy']) 

النتائج

في عينة الاختبار ، تم ترك 24000 صورة ، أي 20 ٪. كانت مصفوفة الخطأ كما يلي:


الشبكات الاجتماعية - الشبكات الاجتماعية؛
جواز سفر - جوازات سفر؛
نقاط البيع - نقاط البيع والشركاء الذين يقدمون القروض.

النسبة المئوية الإجمالية للأخطاء هي 1.6 ٪ ، للصور من نقاط البيع - 1.2 ٪. معظم الصور المعرفة خطأ هي صور مماثلة لفئتين في نفس الوقت. على سبيل المثال ، تم التقاط جميع الصور المحددة بشكل غير صحيح من فئة نقاط الائتمان من زوايا غير ناجحة (مقابل الجدار الأبيض ، يكون الوجه مرئيًا فقط). لذلك ، كانت أيضًا مشابهة لصور طبقة الشبكة الاجتماعية. كان لهذه الصور احتمالية منخفضة للغاية.
لقد أضفنا عتبة لتحقيق أقصى احتمال. إذا كانت القيمة النهائية أعلى - نثق في المصنف ، أقل - سنرسل الصورة للتحقق اليدوي.

نتيجة لذلك ، نتيجة الخدمة للتصوير الفوتوغرافي



يشبه هذا:

ملخص

لذلك ، باستخدام نموذج بسيط ، تعلمنا كيفية التحديد التلقائي لالتقاط صورة في إحدى نقاط البيع لشركائنا. هذا سمح لنا بأتمتة جزء من العملية الكبيرة للموافقة على طلب القرض.