मानवरहित वाहनों के लिए 3 डी वस्तु मान्यता विधियां। यैंडेक्स रिपोर्ट

मानवरहित कारें यह समझे बिना नहीं कर सकती हैं कि आसपास क्या है और वास्तव में कहां है। पिछले साल दिसंबर में, डेवलपर विक्टर ओटलिगा विटोनका ने डेटा-क्रिसमस ट्री में 3 डी ऑब्जेक्ट्स का पता लगाने पर एक प्रस्तुति दी। विक्टर मानव रहित वाहनों यैंडेक्स की दिशा में काम करता है, समूह में यातायात की स्थिति को संभालता है (और साथ ही यह भी सिखाता है)। उन्होंने बताया कि कैसे हम एक त्रि-आयामी बिंदु क्लाउड में अन्य सड़क उपयोगकर्ताओं को पहचानने की समस्या को हल करते हैं, यह समस्या एक छवि में वस्तुओं को पहचानने से कैसे भिन्न होती है, और विभिन्न प्रकार के सेंसर साझा करने से कैसे लाभ होता है।


- सभी को नमस्कार! मेरा नाम विक्टर ओटलिगा है, मैं मिन्स्क में यैंडेक्स कार्यालय में काम करता हूं, और मैं मानव रहित वाहन विकसित कर रहा हूं। आज मैं ड्रोन के लिए एक महत्वपूर्ण कार्य के बारे में बात करूंगा - हमारे आसपास की 3 डी वस्तुओं की मान्यता।



सवारी करने के लिए, आपको यह समझने की आवश्यकता है कि आसपास क्या है। मैं आपको संक्षेप में बताऊंगा कि मानव रहित वाहनों पर कौन से सेंसर और सेंसर का उपयोग किया जाता है और कौन सा हम उपयोग करते हैं। मैं आपको बताता हूँ कि 3D ऑब्जेक्ट्स का पता लगाने का कार्य क्या है और यह पता लगाने की गुणवत्ता को कैसे मापता है। फिर मैं आपको बताता हूं कि इस गुणवत्ता को किस पर मापा जा सकता है। और फिर मैं अच्छे आधुनिक एल्गोरिदम की संक्षिप्त समीक्षा करूंगा, जिनमें वे भी शामिल हैं जिनके आधार पर हमारे समाधान आधारित हैं। और अंत में - छोटे परिणाम, इन एल्गोरिदम की एक तुलना, जिसमें हमारा भी शामिल है।



मानवरहित कार का हमारा कार्यशील प्रोटोटाइप अब जैसा दिखता है। इस तरह की टैक्सी को रूस में इन्नोपोलिस शहर में बिना ड्राइवर के किसी के द्वारा किराए पर लिया जा सकता है, साथ ही स्कोलोवो में भी। और अगर आप करीब से देखें, तो शीर्ष पर एक बड़ी मौत है। अंदर क्या है?



सेंसर के एक सरल सेट के अंदर। यह निर्धारित करने के लिए कि कार कहां है और बाहरी दुनिया के साथ संवाद करने के लिए एक GNSS और GSM एंटीना है। जहां एक कैमरा के रूप में इस तरह के क्लासिक सेंसर के बिना। लेकिन आज हम लिडार में दिलचस्पी लेंगे।





लिडार अपने आस-पास लगभग ऐसे ही एक बादल का निर्माण करता है, जिसके तीन निर्देशांक हैं। और आपको उनके साथ काम करना होगा। मैं आपको बताता हूँ कि, किसी भी वस्तु को पहचानने के लिए, कैमरा इमेज और लिडार क्लाउड का उपयोग कैसे किया जाता है।



चुनौती क्या है? कैमरे से छवि इनपुट में प्रवेश करती है, कैमरा लिडार के साथ सिंक्रनाइज़ किया जाता है। कैमरे से तस्वीर का उपयोग करने के लिए एक दूसरे से पहले अजीब होगा, लिडार बादल को पूरी तरह से अलग क्षण से लें और उस पर वस्तुओं को पहचानने की कोशिश करें।



हम किसी तरह से कैमरे और लिडार को सिंक्रोनाइज़ करते हैं, यह एक अलग मुश्किल काम है, लेकिन हम सफलतापूर्वक इसका सामना करते हैं। इस तरह के डेटा इनपुट में प्रवेश करते हैं, और अंत में हम बक्से प्राप्त करना चाहते हैं, बाउंडिंग बॉक्स जो ऑब्जेक्ट को सीमित करते हैं: पैदल यात्री, साइकिल चालक, कार और अन्य सड़क उपयोगकर्ता और न केवल।

कार्य निर्धारित किया गया था। हम इसका मूल्यांकन कैसे करेंगे?



एक छवि में वस्तुओं की 2 डी मान्यता की समस्या का व्यापक रूप से अध्ययन किया गया है।

^{_{स्लाइड से लिंक करें}}

आप मानक मैट्रिक्स या उनके एनालॉग्स का उपयोग कर सकते हैं। यूनियन पर एक जैक्वार्ड गुणांक या चौराहा है, एक अद्भुत गुणांक है जो दर्शाता है कि हमने कितनी अच्छी तरह से एक वस्तु का पता लगाया। हम एक बॉक्स ले सकते हैं, जैसा कि हम मानते हैं, ऑब्जेक्ट स्थित है, और एक बॉक्स जहां यह वास्तव में स्थित है। इस मीट्रिक की गणना करें। मानक थ्रेसहोल्ड हैं - कारों के लिए मान लें कि वे अक्सर 0.7 की दहलीज लेते हैं। यदि यह मान 0.7 से अधिक है, तो हम मानते हैं कि हमने सफलतापूर्वक वस्तु का पता लगा लिया है, कि वस्तु वहां है। हम महान हैं, हम और आगे बढ़ सकते हैं।

इसके अलावा, किसी वस्तु का पता लगाने और यह समझने के लिए कि वह कहीं है, हम किसी प्रकार का विश्वास लेना चाहेंगे कि हम वास्तव में वहां की वस्तु को देखें, और उसे भी मापें। आप सरलता से माप सकते हैं, औसत सटीकता पर विचार कर सकते हैं। आप सटीक रीकॉल वक्र और उसके नीचे के क्षेत्र को ले सकते हैं और कह सकते हैं: यह जितना बड़ा होगा, उतना बेहतर होगा।

^{_{स्लाइड से लिंक करें}}

आमतौर पर, 3 डी डिटेक्शन की गुणवत्ता को मापने के लिए, वे एक डेटासेट लेते हैं और इसे कई भागों में विभाजित करते हैं, क्योंकि ऑब्जेक्ट्स करीब या दूर हो सकते हैं, उन्हें आंशिक रूप से कुछ और द्वारा अस्पष्ट किया जा सकता है। इसलिए, सत्यापन नमूना अक्सर तीन भागों में विभाजित होता है। जिन वस्तुओं का पता लगाना आसान होता है, मध्यम जटिलता और जटिल, दूर या जो कि अत्यधिक अस्पष्ट होती हैं। और वे तीन भागों में अलग-अलग मापते हैं। और तुलना के परिणामों में, हम इस तरह के विभाजन को भी लेंगे।



आप गुणवत्ता को 3 डी के रूप में माप सकते हैं, संघ के प्रतिच्छेदन का एक एनालॉग, लेकिन क्षेत्रों का अनुपात नहीं, लेकिन, उदाहरण के लिए, वॉल्यूम। लेकिन एक मानव रहित कार, एक नियम के रूप में, वास्तव में परवाह नहीं करता है कि जेड समन्वय में क्या चल रहा है। हम ऊपर से एक पक्षी की आंखों का दृश्य ले सकते हैं और कुछ प्रकार की मीट्रिक ले सकते हैं जैसे कि हम इसे 2 डी में देख रहे थे। मनुष्य को 2 डी में अधिक या कम नेविगेट किया जाता है, और एक मानव रहित वाहन समान होता है। कितना लंबा बॉक्स बहुत महत्वपूर्ण नहीं है।



क्या उपाय करें?



शायद हर किसी को जो कम से कम किसी तरह से लिडार क्लाउड द्वारा 3 डी का पता लगाने के कार्य का सामना कर रहा था, केटीटीआई जैसे एक डेटासेट के बारे में सुना।

^{_{स्लाइड से लिंक करें}}

जर्मनी के कुछ शहरों में, एक डेटासेट दर्ज किया गया था, सेंसर से लैस एक कार गई थी, इसमें जीपीएस सेंसर और कैमरे और लिडार थे। तब इसे लगभग 8000 दृश्यों के रूप में चिह्नित किया गया था, और इसे दो भागों में विभाजित किया गया था। एक हिस्सा प्रशिक्षण है, जिस पर हर कोई प्रशिक्षण ले सकता है, और दूसरा, परिणामों को मापने के लिए सत्यापन है। KITTI सत्यापन नमूना एक गुणवत्ता उपाय माना जाता है। सबसे पहले, KITTI डेटासेट साइट पर एक लीडर बोर्ड होता है, आप अपना निर्णय वहाँ भेज सकते हैं, सत्यापन डेटासेट पर आपके परिणाम, और अन्य बाज़ार के खिलाड़ियों या शोधकर्ताओं के निर्णयों के साथ तुलना कर सकते हैं। लेकिन यह भी डेटासेट सार्वजनिक रूप से उपलब्ध है, आप डाउनलोड कर सकते हैं, किसी को नहीं बता सकते हैं, अपने स्वयं की जांच कर सकते हैं, प्रतियोगियों के साथ तुलना कर सकते हैं, लेकिन सार्वजनिक रूप से अपलोड नहीं करें।



बाहरी डेटासेट अच्छे हैं, आपको अपना समय और संसाधन उन पर खर्च करने की ज़रूरत नहीं है, लेकिन एक नियम के रूप में, जर्मनी की यात्रा करने वाली कार पूरी तरह से अलग सेंसर से लैस हो सकती है। और आपके अपने आंतरिक डेटासेट का हमेशा अच्छा होना। इसके अलावा, दूसरों की कीमत पर बाहरी डेटासेट का विस्तार करना कठिन है, लेकिन अपने स्वयं के प्रबंधन के लिए यह आसान है। इसलिए, हम अद्भुत Yandex.Tolok सेवा का उपयोग करते हैं।



हमने अपनी विशेष कार्य प्रणाली को अंतिम रूप दिया। उस उपयोगकर्ता के लिए जो मार्कअप में मदद करना चाहता है और इसके लिए एक इनाम प्राप्त करना चाहता है, हम कैमरे से एक तस्वीर देते हैं, एक लिडार क्लाउड देते हैं जिसे आप घुमा सकते हैं, ज़ूम इन कर सकते हैं, ज़ूम आउट कर सकते हैं और उससे बॉक्स लगाने के लिए कह सकते हैं जो हमारी बाउंडिंग बॉक्स को सीमित करते हैं कि कार या पैदल यात्री उन में पहुँच जाते हैं , या कुछ और। इस प्रकार, हम व्यक्तिगत उपयोग के लिए आंतरिक नमूना एकत्र करते हैं।

मान लीजिए हमने तय किया है कि हम किस कार्य को हल करेंगे, हम कैसे मानेंगे कि हमने इसे अच्छा या बुरा किया। हमने कहीं डेटा लिया।

एल्गोरिदम क्या हैं? 2 डी से शुरू करते हैं। 2D पता लगाने का कार्य बहुत अच्छी तरह से जाना जाता है और अध्ययन किया जाता है।

^{_{स्लाइड से लिंक करें}}

निश्चित रूप से, बहुत से लोग एसएसडी एल्गोरिदम के बारे में जानते हैं, जो 2 डी वस्तुओं का पता लगाने के लिए कला विधियों में से एक है, और सिद्धांत रूप में, हम यह मान सकते हैं कि किसी तरह से छवि में वस्तुओं का पता लगाने की समस्या काफी हल हो गई है। यदि कुछ भी हो, तो हम इन परिणामों को किसी प्रकार की अतिरिक्त जानकारी के रूप में उपयोग कर सकते हैं।

लेकिन हमारे लिडार क्लाउड की अपनी विशेषताएं हैं जो इसे छवि से अलग करती हैं। सबसे पहले, यह बहुत विरल है। यदि तस्वीर एक घनी संरचना है, तो पिक्सल करीब हैं, सब कुछ घना है, फिर बादल बहुत पतला है, इतने सारे बिंदु नहीं हैं, और इसमें एक नियमित संरचना नहीं है। विशुद्ध रूप से शारीरिक रूप से वहाँ दूरी की तुलना में बहुत अधिक बिंदु हैं, और आगे आप जाते हैं, जितने कम अंक होते हैं, उतनी ही कम सटीकता होती है, कुछ निर्धारित करना उतना ही मुश्किल होता है।

ठीक है, अंक, सिद्धांत रूप में, बादल से एक समझ से बाहर क्रम में आते हैं। कोई भी गारंटी नहीं देता है कि एक बिंदु हमेशा दूसरे की तुलना में पहले होगा। वे अपेक्षाकृत यादृच्छिक क्रम में आते हैं। आप किसी तरह उन्हें छाँटने के लिए सहमत कर सकते हैं या उन्हें अग्रिम में फिर से व्यवस्थित कर सकते हैं, और उसके बाद ही इनपुट के लिए मॉडल प्रस्तुत कर सकते हैं, लेकिन यह काफी असुविधाजनक होगा, आपको उन्हें बदलने के लिए समय बिताने की आवश्यकता है, और इसी तरह।

हम एक ऐसी प्रणाली के साथ आना चाहते हैं जो हमारी समस्याओं के लिए अपरिवर्तनीय होगी, इन सभी समस्याओं का समाधान करेगी। सौभाग्य से, पिछले साल सीवीपीआर ने इस तरह की व्यवस्था पेश की थी। ऐसा एक आर्किटेक्चर था - पॉइंटनेट। वह कैसे काम करती है?



प्रवेश पर एन बिंदुओं का एक बादल आता है, प्रत्येक में तीन निर्देशांक होते हैं। फिर प्रत्येक बिंदु को किसी विशेष छोटे परिवर्तन द्वारा मानकीकृत किया जाता है। इसके अलावा इन संकेतों से समृद्ध करने के लिए इसे पूरी तरह से जुड़े नेटवर्क के माध्यम से संचालित किया जाता है। तब फिर से परिवर्तन होता है, और अंत में इसे अतिरिक्त रूप से समृद्ध किया जाता है। कुछ बिंदु पर, n अंक प्राप्त किए जाते हैं, लेकिन प्रत्येक में लगभग 1024 विशेषताएं हैं, वे किसी तरह मानकीकृत हैं। लेकिन अभी तक हमने बदलावों, बदलावों, और इसी तरह के बदलाव के बारे में समस्या का समाधान नहीं किया है। यहां अधिकतम-पूलिंग करने का प्रस्ताव है, प्रत्येक चैनल पर बिंदुओं के बीच अधिकतम ले लो और 1024 संकेतों के कुछ वेक्टर प्राप्त करें, जो हमारे क्लाउड का कुछ विवरणक होगा, जिसमें पूरे क्लाउड के बारे में जानकारी होगी। और फिर इस डिस्क्रिप्टर से आप कई अलग-अलग काम कर सकते हैं।

^{_{स्लाइड से लिंक करें}}

उदाहरण के लिए, आप इसे अलग-अलग बिंदुओं के विवरणकर्ताओं के लिए गोंद कर सकते हैं और विभाजन की समस्या को हल कर सकते हैं, प्रत्येक बिंदु के लिए यह निर्धारित कर सकते हैं कि यह किस वस्तु का है। यह सिर्फ एक सड़क या एक व्यक्ति या एक कार है। और यहाँ लेख से परिणाम हैं।

^{_{स्लाइड से लिंक करें}}

आप देख सकते हैं कि यह एल्गोरिथ्म बहुत अच्छा काम करता है। विशेष रूप से, मैं वास्तव में उस छोटी सी तालिका को पसंद करता हूं जिसमें काउंटरटॉप के बारे में कुछ डेटा बाहर फेंक दिया गया था, और उसने फिर भी निर्धारित किया कि पैर कहां हैं और काउंटरटॉप कहां है। और यह एल्गोरिथ्म, विशेष रूप से, आगे की प्रणालियों के निर्माण के लिए एक ईंट के रूप में उपयोग किया जा सकता है।

एक दृष्टिकोण जो इसका उपयोग करता है वह है फ्रस्टम पॉइंटनेट्स दृष्टिकोण या छंटनी पिरामिड दृष्टिकोण। विचार कुछ इस तरह है: 2 डी में वस्तुओं को पहचानते हैं, हम ऐसा करने में अच्छे हैं।



फिर, यह जानना कि कैमरा कैसे काम करता है, हम अनुमान लगा सकते हैं कि किस क्षेत्र में हमारे लिए ब्याज की वस्तु, मशीन, झूठ हो सकती है। परियोजना के लिए, केवल इस क्षेत्र को काटें, और पहले से ही एक दिलचस्प वस्तु खोजने की समस्या को हल करें, उदाहरण के लिए, एक मशीन। यह बादल भर में किसी भी संख्या में कारों की तलाश की तुलना में बहुत आसान है। एक ही क्लाउड में एक कार की खोज करना बहुत अधिक स्पष्ट और अधिक कुशल लगता है।

^{_{स्लाइड से लिंक करें}}

आर्किटेक्चर कुछ इस तरह दिखता है। सबसे पहले, हम किसी भी तरह से उन क्षेत्रों का चयन करते हैं जो हमारी रुचि रखते हैं, प्रत्येक क्षेत्र में हम विभाजन करते हैं, और फिर हम एक बाउंडिंग बॉक्स खोजने की समस्या को हल करते हैं जो हमारे लिए ब्याज की वस्तु को सीमित करता है।



दृष्टिकोण ही सिद्ध हुआ है। तस्वीरों में आप देख सकते हैं कि यह काफी अच्छी तरह से काम करता है, लेकिन इसमें कमियां भी हैं। दृष्टिकोण दो-स्तरीय है, इस वजह से यह धीमा हो सकता है। हमें पहले नेटवर्क को लागू करने और 2 डी ऑब्जेक्ट्स को पहचानने, फिर काटने की आवश्यकता है, और फिर क्लाउड के टुकड़े पर विभाजन बॉक्स के विभाजन और आवंटन की समस्या को हल करना है, इसलिए यह थोड़ा धीरे काम कर सकता है।

एक और दृष्टिकोण। हम अपने क्लाउड को किसी तरह के ढांचे में क्यों नहीं बदलते जो तस्वीर जैसा दिखता है? विचार यह है: चलो इसे ऊपर से देखें और हमारे लिडार बादल का नमूना लें। हमें रिक्त स्थान के क्यूब्स मिलते हैं।

^{_{स्लाइड से लिंक करें}}

प्रत्येक क्यूब के अंदर हमें कुछ बिंदु मिले। हम उन पर कुछ विशेषताओं की गणना कर सकते हैं, लेकिन हम पॉइंटनेट का उपयोग कर सकते हैं, जो अंतरिक्ष के प्रत्येक टुकड़े के लिए किसी प्रकार के विवरणक की गणना करेगा। हम एक voxel प्राप्त करेंगे, प्रत्येक voxel का एक विशेषता विवरण है, और यह एक चित्र की तरह, घने संरचना की तरह कम या ज्यादा दिखेगा। हम पहले से ही विभिन्न आर्किटेक्चर बना सकते हैं, उदाहरण के लिए, वस्तुओं का पता लगाने के लिए एसएसडी जैसी वास्तुकला।



बाद का दृष्टिकोण, जो कई सेंसर से डेटा के संयोजन के लिए पहले दृष्टिकोण में से एक था। जब हम भी कैमरा डेटा है केवल लिडार डेटा का उपयोग करना पाप होगा। इनमें से एक दृष्टिकोण को मल्टी-व्यू 3 डी ऑब्जेक्ट डिटेक्शन नेटवर्क कहा जाता है। उनका विचार यह है: एक बड़े नेटवर्क के इनपुट को इनपुट डेटा के तीन चैनल खिलाएं।

^{_{स्लाइड से लिंक करें}}

यह कैमरे से एक तस्वीर है और, दो संस्करणों में, एक लिडार क्लाउड: ऊपर से, एक पक्षी की आंखों के दृश्य के साथ, और कुछ प्रकार के सामने का दृश्य, जो हम अपने सामने देखते हैं। हम इसे न्यूरॉन के इनपुट में जमा करते हैं, और यह अपने भीतर सब कुछ कॉन्फ़िगर करेगा, हमें अंतिम परिणाम देगा - वस्तु।

मैं इन मॉडलों की तुलना करना चाहता हूं। KITTI डेटासेट पर, सत्यापन ड्राइव पर, गुणवत्ता का मूल्यांकन औसत परिशुद्धता में प्रतिशत के रूप में किया जाता है।



आप देख सकते हैं कि एफ-पॉइंटनेट काफी अच्छी तरह से और तेजी से काम करता है, सभी को अलग-अलग क्षेत्रों में हरा देता है - कम से कम लेखकों के अनुसार।

हमारा दृष्टिकोण उन सभी विचारों पर आधारित है जो मैंने सूचीबद्ध किए हैं। यदि आप तुलना करते हैं, तो आपको निम्नलिखित चित्र मिलते हैं। यदि हम पहले स्थान पर कब्जा नहीं करते हैं, तो कम से कम दूसरा है। इसके अलावा, उन वस्तुओं पर जिनका पता लगाना मुश्किल है, हम नेताओं में टूट जाते हैं। और सबसे महत्वपूर्ण बात, हमारा दृष्टिकोण काफी तेज है। इसका मतलब है कि यह पहले से ही रियलटाइम सिस्टम के लिए काफी अच्छी तरह से लागू है, और यह मानवरहित वाहन के लिए विशेष रूप से महत्वपूर्ण है कि सड़क पर क्या हो रहा है और इन सभी वस्तुओं को उजागर करने के लिए।



निष्कर्ष में - हमारे डिटेक्टर का एक उदाहरण:


यह देखा जा सकता है कि स्थिति जटिल है: कुछ वस्तुएं बंद हैं, और कुछ कैमरे को दिखाई नहीं दे रहे हैं। पैदल यात्री, साइकिल चालक। लेकिन डिटेक्टर काफी अच्छी तरह से नकल करता है। धन्यवाद!