घुटने से लगाए गए स्तर पर चेहरे की पहचान

सामान्य तौर पर, अपने परिणामों के अनुसार लोगों की पहचान और पहचान का सामना करना बड़ों के लिए किशोरावस्था की तरह दिखता है - हर कोई उनके बारे में बहुत सारी बातें करता है, लेकिन उनके अभ्यास के बारे में। यह स्पष्ट है कि हम अब आश्चर्यचकित नहीं हैं कि अनुकूल समारोहों से तस्वीरें डाउनलोड करने के बाद, फेसबुक / वीके तस्वीर में पाए गए लोगों को चिह्नित करने का सुझाव देता है, लेकिन यहां हम सहज रूप से जानते हैं कि सामाजिक नेटवर्क कनेक्शन के व्यक्ति के ग्राफ के रूप में एक अच्छी मदद करता है। और अगर ऐसा कोई ग्राफ नहीं है? हालांकि, चलो क्रम में शुरू करते हैं।



प्रारंभ में, हमारे साथ "दोस्त / दुश्मन" की पहचान और पहचान विशेष रूप से घरेलू जरूरतों से बाहर हो गई - नशेड़ी एक सहयोगी के प्रवेश द्वार में घुस गए, और लगातार स्थापित वीडियो कैमरा से तस्वीर की निगरानी करते हैं, और यहां तक ​​कि असंतुष्ट होते हैं कि पड़ोसी और जहां अजनबी की कोई इच्छा नहीं थी कोई।

इसलिए, केवल एक हफ्ते में, एक प्रोटोटाइप को घुटने पर इकट्ठा किया गया था, जिसमें एक आईपी कैमरा, एक एकल-बोर्ड डिवाइस, एक मोशन सेंसर, और फेस_रेकोग्निशन पायथन मान्यता पुस्तकालय था। चूंकि अजगर पुस्तकालय एक एकल-प्लेट पर था, बल्कि शक्तिशाली हार्डवेयर ... चलो इसे सावधानी से कहें, बहुत तेज़ नहीं, हमने प्रसंस्करण प्रक्रिया का निर्माण करने का फैसला किया है:

• गति संवेदक यह निर्धारित करता है कि अंतरिक्ष के क्षेत्र को सौंपा गया आंदोलन है या नहीं और उसकी उपस्थिति का संकेत देता है;
• gstreamer पर आधारित एक लिखित सेवा, जो लगातार आईपी कैमरा से एक स्ट्रीम प्राप्त करती है, का पता लगाने के 5 सेकंड पहले और 10 सेकंड के बाद काटती है और विश्लेषण के लिए मान्यता पुस्तकालय को खिलाती है;
• वह बदले में, वीडियो देखता है, वहां चेहरे पाता है, उनकी तुलना ज्ञात नमूनों से करता है, और यदि अज्ञात पाया जाता है, तो वीडियो को टेलीग्राम चैनल पर भेजता है, बाद में इसे उसी जगह पर नियंत्रित किया जाना चाहिए था, जो झूठी सकारात्मक चीजों को तुरंत काट सकता है - उदाहरण के लिए, जब एक पड़ोसी नमूने पर गलत पक्ष पर कैमरे के लिए बदल गया।

पूरी प्रक्रिया को हमारे प्यारे एर्लैंग ने एक साथ जोड़ दिया, और सहयोगियों पर परीक्षण की प्रक्रिया में उन्होंने अपनी न्यूनतम कार्य क्षमता को साबित कर दिया।

हालांकि, इकट्ठे मॉडल को वास्तविक जीवन में आवेदन नहीं मिला - इसकी तकनीकी खराबी के कारण नहीं, जो निस्संदेह था - जैसा कि अनुभव से पता चलता है, ग्रीनहाउस कार्यालय की स्थितियों में घुटने पर एकत्र किए गए क्षेत्र में टूटने की बहुत खराब प्रवृत्ति है, और ग्राहक के प्रदर्शन के समय , और संगठनात्मक लोगों की वजह से, प्रवेश के निवासियों ने किसी भी वीडियो निगरानी के बहुमत से इनकार कर दिया।

यह परियोजना शेल्फ पर चली गई और समय-समय पर बिक्री के दौरान प्रदर्शनों के लिए एक छड़ी और व्यक्तिगत घर में पुनर्जन्म करने के आग्रह के साथ खड़ी रही।

उस समय से सब कुछ बदल गया है जब हमारे पास एक ही विषय पर अधिक विशिष्ट और काफी वाणिज्यिक परियोजना थी। चूंकि समस्या के बयान से सीधे मोशन सेंसर का उपयोग करते हुए इसमें कोनों को काटना संभव नहीं होगा, इसलिए मुझे तीन सिर में चेहरे की खोज करने और पहचानने की बारीकियों में गहराई से उतरना था (यदि आप धारा पर सीधे गिनती करते हैं, तो ठीक है। और फिर एक रहस्योद्घाटन हुआ।

परेशानी यह है कि इस मुद्दे पर अधिकांश निष्कर्ष इस विषय पर विशुद्ध रूप से अकादमिक रेखाचित्र हैं कि "मुझे एक फैशनेबल विषय पर एक पत्रिका में एक लेख लिखना था और प्रकाशन के लिए एक टिक करना था।" मैं वैज्ञानिकों के गुणों से अलग नहीं हूं - मैंने जो कागजात पाए उनमें से बहुत सारे उपयोगी और दिलचस्प थे, लेकिन, अफसोस, मुझे यह स्वीकार करना होगा कि गितुब पर पोस्ट किए गए उनके कोड के काम का प्रजनन बहुत वांछित होने के लिए छोड़ देता है या अंत में समय के साथ एक संदिग्ध उपक्रम की तरह दिखता है।

तंत्रिका नेटवर्क और मशीन सीखने के लिए कई रूपरेखाएं अक्सर उठा पाना मुश्किल होता था - चेहरे की पहचान उनके लिए एक अलग संकीर्ण कार्य था, समस्याओं की एक विस्तृत श्रृंखला में उन्मुक्त। दूसरे शब्दों में, एक तैयार उदाहरण लेने के लिए और इसे लक्षित हार्डवेयर पर चलाने के लिए कि यह कैसे काम करता है और क्या काम करता है, यह काम नहीं किया। यह एक उदाहरण नहीं था, फिर इसे प्राप्त करने की आवश्यकता ने कड़ाई से परिभाषित ओएस के लिए कुछ संस्करणों के कुछ पुस्तकालयों की विधानसभा से खट्टा खोज का सुझाव दिया। यानी ले जाने और उड़ान भरने के लिए - वस्तुतः पहले उल्लेखित face_recognition की तरह crumbs, जिसका उपयोग हमने पिछले शिल्पों के लिए किया था।

हमेशा की तरह बड़ी कंपनियों ने हमें बचाया। इंटेल और एनवीडिया दोनों ने लंबे समय से इस वर्ग के कार्यों की बढ़ती गति और वाणिज्यिक आकर्षण को महसूस किया है, लेकिन पहली जगह में उपकरण के आपूर्तिकर्ता के रूप में, वे मुफ्त में विशिष्ट एप्लिकेशन समस्याओं को हल करने के लिए अपने ढांचे को वितरित करते हैं।

हमारी परियोजना एक अनुसंधान की नहीं बल्कि प्रायोगिक प्रकृति की थी, इसलिए हमने व्यक्तिगत विक्रेताओं के समाधानों का विश्लेषण और तुलना नहीं की, लेकिन सबसे पहले एक तैयार प्रोटोटाइप को इकट्ठा करने और इसे सबसे तेज प्रतिक्रिया प्राप्त करते हुए युद्ध में परीक्षण करने के उद्देश्य से पहला लिया। इसलिए, विकल्प बहुत जल्दी इंटेल ओपनविनो पर गिर गया - लागू कार्यों में मशीन सीखने के व्यावहारिक अनुप्रयोग के लिए एक पुस्तकालय।

आरंभ करने के लिए, हमने एक स्टैंड लगाया, जो परंपरागत रूप से इंटेल कोर i3 प्रोसेसर के साथ नेटटॉप का एक सेट है और बाजार में चीनी विक्रेताओं से आईपी कैमरा। कैमरा सीधे नेटटॉप से ​​जुड़ा था और आरटीएसपी स्ट्रीम के साथ एक बहुत बड़े एफपीएस के साथ आपूर्ति की, इस धारणा के आधार पर कि लोग अभी भी प्रतियोगिताओं की तरह इसके सामने नहीं चलेंगे। एक फ्रेम की प्रसंस्करण गति (चेहरे की खोज और पहचान) दसियों के क्षेत्र में सैकड़ों मिलीसेकंड तक बढ़ गई, जो मौजूदा नमूनों का उपयोग करने वाले व्यक्तियों के लिए खोज तंत्र को एम्बेड करने के लिए काफी था। इसके अतिरिक्त, हमारे पास एक बैकअप योजना भी थी - न्यूरल कम्प्यूट स्टिक 2 न्यूरल नेटवर्क की गणना को तेज करने के लिए इंटेल के पास एक विशेष सहसंसाधक है, जिसका उपयोग हम कर सकते हैं यदि हमारे पास सामान्य प्रयोजन प्रोसेसर नहीं था। लेकिन - अभी तक कुछ भी नहीं हुआ है।

विधानसभा को पूरा करने और बुनियादी उदाहरणों की कार्यक्षमता की पुष्टि करने के बाद - इंटेल एसडीके की एक विशिष्ट विशेषता एक कदम-दर-चरण और बहुत विस्तृत उदाहरण गाइड में थी - हमने सॉफ्टवेयर का निर्माण शुरू किया।

हमारे सामने मुख्य कार्य कैमरे के क्षेत्र में एक व्यक्ति की खोज, उसकी पहचान और उसकी उपस्थिति की समय पर अधिसूचना थी। तदनुसार, चेहरों को पहचानने और पैटर्न के साथ उनकी तुलना करने के लिए (यह कैसे करना है, उस समय, बाकी सब चीजों की तुलना में कोई कम सवाल नहीं हुआ), हमें इंटरफ़ेस योजना की माध्यमिक चीजें प्रदान करने की आवश्यकता थी। अर्थात्, हमें एक ही कैमरे से आवश्यक व्यक्तियों के चेहरे के साथ उनकी बाद की पहचान के लिए फ्रेम प्राप्त करना चाहिए। क्यों, एक ही कैमरे से, मुझे लगता है कि यह भी काफी स्पष्ट है - वस्तु पर कैमरे की स्थापना बिंदु और लेंस प्रकाशिकी कुछ विकृतियों को प्रस्तुत करते हैं, जो संभवतः, मान्यता की गुणवत्ता को प्रभावित कर सकते हैं, हम ट्रैकिंग टूल की तुलना में स्रोत डेटा के एक अलग स्रोत का उपयोग करते हैं।

यानी स्वयं स्ट्रीम हैंडलर के अलावा, हमें कम से कम एक वीडियो संग्रह और एक वीडियो फ़ाइल विश्लेषक की आवश्यकता होती है जो सभी पहचाने गए चेहरों को रिकॉर्डिंग से अलग कर देगा और संदर्भ के रूप में सबसे उपयुक्त लोगों को बचाएगा।

हमेशा की तरह, हमने परिचित Erlang और PostgreSQL को ffmpeg, OpenVINO पर एप्लिकेशन और अलर्ट के लिए Telegram Bot API के बीच गोंद के रूप में लिया। इसके अलावा, कॉम्प्लेक्स के प्रबंधन के लिए न्यूनतम सेट प्रदान करने के लिए हमें एक वेब-यूआई की आवश्यकता थी, जिसे हमारे सहकर्मी के सामने वाले ने VueJS को अपलोड किया था।

कार्य का तर्क इस प्रकार था:

• एक नियंत्रण विमान के नियंत्रण में (एर्लांग में) ffmpeg पांच मिनट के स्लाइस में कैमरे से वीडियो के लिए एक धारा लिखता है, एक अलग प्रक्रिया यह सुनिश्चित करती है कि रिकॉर्ड एक कड़ाई से निर्दिष्ट मात्रा में संग्रहीत किए जाते हैं और इस सीमा तक पहुंचने पर सबसे पुराना साफ करते हैं;
• वेब-यूआई के माध्यम से आप किसी भी रिकॉर्ड को देख सकते हैं, वे कालानुक्रमिक क्रम में व्यवस्थित होते हैं, जो बिना किसी कठिनाई के, आपको वांछित टुकड़े को अलग करने और प्रसंस्करण के लिए भेजने की अनुमति देता है;
• प्रसंस्करण वीडियो का विश्लेषण करने और पता लगाए गए चेहरों के साथ फ्रेम निकालने में शामिल है, यह सिर्फ OpenVino- आधारित सॉफ़्टवेयर करता है (मुझे कहना होगा, यहां हम कोण को थोड़ा काटने में कामयाब रहे - स्ट्रीम का विश्लेषण करने और फ़ाइलों का विश्लेषण करने का सॉफ़्टवेयर लगभग समान है, जिसके कारण इसमें से अधिकांश चला गया। एक साझा पुस्तकालय, और उपयोगिताओं स्वयं प्रसंस्करण श्रृंखला में एक ला मॉड्यूलर greareamer ही भिन्न होते हैं)। प्रसंस्करण वीडियो पर होता है, विशेष रूप से प्रशिक्षित तंत्रिका नेटवर्क का उपयोग करके पाए गए चेहरों को अलग करता है। चेहरे वाले फ्रेम के परिणामस्वरूप टुकड़े दूसरे तंत्रिका नेटवर्क में आते हैं, जो 256-तत्व वेक्टर बनाता है, जो वास्तव में, किसी व्यक्ति के चेहरे के संदर्भ बिंदुओं के निर्देशांक हैं। यह वेक्टर, पता लगाया गया फ्रेम, और पाया चेहरे के आयत के निर्देशांक डेटाबेस में संग्रहीत हैं;
• इसके अलावा, प्रसंस्करण पूरा होने के बाद, ऑपरेटर तैयार किए गए फ़्रेमों की विविधता को खोलता है, उनकी संख्या से भयभीत होता है और लक्षित लोगों की खोज करने के लिए आगे बढ़ता है। चयनित नमूने मौजूदा व्यक्ति में जोड़े जा सकते हैं या नया बना सकते हैं। कार्य के प्रसंस्करण के पूरा होने के बाद, विश्लेषण परिणाम हटा दिए जाते हैं, वेधशालाओं के रिकॉर्ड के लिए मैप किए गए वैक्टर के अपवाद के साथ;
• तदनुसार, हम किसी भी समय फ़्रेम और डिटेक्शन वैक्टर दोनों को देख सकते हैं और असफल नमूनों को हटा सकते हैं;
• पृष्ठभूमि में पहचान चक्र के समानांतर, स्ट्रीम विश्लेषण सेवा हमेशा काम करती है, जो एक ही काम करती है, लेकिन कैमरे से स्ट्रीम के साथ। वह प्रेक्षित प्रवाह में चेहरों का चयन करता है और उनकी तुलना डेटाबेस से नमूनों से करता है, जो इस धारणा पर आधारित है कि एक व्यक्ति के वैक्टर अन्य सभी वैक्टरों की तुलना में एक दूसरे के अधिक निकट होंगे। वैक्टर के बीच की दूरी की एक जोड़ीदार गणना तब होती है, जब थ्रेशोल्ड पहुंच जाता है, डेटाबेस में डिटेक्शन और एक फ्रेम का रिकॉर्ड रखा जाता है। इसके अलावा, एक व्यक्ति को निकट भविष्य में स्टॉप सूची में जोड़ा जाता है, जो एक ही व्यक्ति के बारे में कई सूचनाओं से बचा जाता है;
• नियंत्रण विमान समय-समय पर पता लगाने के लॉग की जांच करता है और नई प्रविष्टियों की स्थिति में, संलग्न फोटो के साथ एक संदेश के साथ सूचित करता है और बॉट के माध्यम से चेहरे को उजागर करता है जिन्हें सेटिंग्स के अनुसार अनुमति दी जाती है।

यह कुछ इस तरह दिखता है:


संग्रह देखें


वीडियो विश्लेषण परिणाम


प्रेक्षित हस्तियों की सूची

परिणामस्वरूप समाधान कई मायनों में विवादास्पद है और कभी-कभी उत्पादकता के मामले में और प्रतिक्रिया समय को कम करने के संदर्भ में भी इष्टतम नहीं है। लेकिन, मैं दोहराता हूं, हमारे पास अभी एक प्रभावी प्रणाली प्राप्त करने का लक्ष्य नहीं था, लेकिन बस इस मार्ग पर जाने के लिए और अधिकतम संख्या में शंकु को भरने के लिए, संकीर्ण रास्तों और संभावित गैर-स्पष्ट समस्याओं की पहचान करें।

एक सप्ताह के लिए ग्रीनहाउस कार्यालय स्थितियों में इकट्ठे सिस्टम का परीक्षण किया गया था। इस समय के दौरान, निम्नलिखित टिप्पणियों को नोट किया गया था:

• मूल नमूनों की गुणवत्ता पर मान्यता गुणवत्ता की स्पष्ट निर्भरता है। यदि प्रेक्षित व्यक्ति अवलोकन क्षेत्र से बहुत जल्दी गुजरता है, तो उच्च संभावना के साथ वह नमूना लेने के लिए डेटा नहीं छोड़ेगा और पहचान नहीं करेगा। हालाँकि, मुझे लगता है कि यह प्रकाश और वीडियो स्ट्रीम मापदंडों सहित सिस्टम को ठीक करने की बात है;
• चूंकि सिस्टम चेहरे के तत्वों (आंखों, नाक, मुंह, भौं, आदि) की पहचान के साथ काम करता है, इसलिए चेहरे और कैमरे के बीच दृश्य बाधा डालकर धोखा देना आसान है (बाल, काले चश्मे, एक हुड, आदि) - चेहरा। सबसे अधिक संभावना है, यह पाया जाएगा, लेकिन नमूनों के साथ तुलना का पता लगाने वाले वैक्टर और नमूनों के बीच मजबूत विसंगति के कारण काम नहीं करेगा;
• साधारण चश्मा बहुत अधिक प्रभावित नहीं करते हैं - हमारे पास चश्मे के साथ लोगों में सकारात्मक प्रतिक्रियाओं और परीक्षण के लिए चश्मे पर गलत-नकारात्मक प्रतिक्रियाएं हैं;
• यदि दाढ़ी मूल नमूनों पर थी, और फिर वह चला गया था, तो संचालन की संख्या कम हो जाती है (इन पंक्तियों के लेखक ने अपनी दाढ़ी को 2 मिमी तक काट लिया और उस पर संचालन की संख्या आधी हो गई);
• झूठी सकारात्मकता भी हुई, यह मुद्दे के गणित में आगे विसर्जन के लिए एक अवसर है और, संभवतः, वैक्टर के आंशिक पत्राचार के सवाल का समाधान और उनके बीच की दूरी की गणना के लिए इष्टतम विधि। हालाँकि, फील्ड परीक्षण से इस संबंध में और भी समस्याएँ सामने आ सकती हैं।

क्या आना है? युद्ध में सिस्टम की जांच करना, पता लगाने के प्रसंस्करण चक्र को अनुकूलित करना, वीडियो संग्रह में घटनाओं की खोज करने की प्रक्रिया को सरल बनाना, विश्लेषण के लिए अधिक डेटा जोड़ना (आयु, लिंग, भावनाएं) और एक और 100,500 छोटे और इतने सारे कार्य जो अभी भी किए जाने की आवश्यकता है। लेकिन एक हजार कदम के रास्ते में पहला कदम हम पहले ही उठा चुके हैं। यदि कोई भी इस तरह की समस्याओं को हल करने में अपना अनुभव साझा करता है या इस मुद्दे पर दिलचस्प लिंक देता है - मैं बहुत आभारी रहूंगा।