हमने सर्विस स्टेशन के लिए ऑटोपायलट कैसे किया

नमस्कार, हेब्र! मैं बर्लिन में एक छोटे से स्टार्टअप में काम करता हूं जो कारों के लिए ऑटोपिलॉट विकसित करता है। हम एक प्रमुख जर्मन वाहन निर्माता के सेवा स्टेशनों के लिए एक परियोजना को पूरा कर रहे हैं और मैं इसके बारे में बात करना चाहूंगा: हमने यह कैसे किया, हमें किन कठिनाइयों का सामना करना पड़ा और हमने क्या नई चीजें खोजीं। इस भाग में मैं धारणा मॉड्यूल के बारे में बात करूंगा और संपूर्ण रूप से समाधान की वास्तुकला के बारे में। बाकी मॉड्यूल के बारे में, शायद, हम निम्नलिखित भागों में बताएंगे। हमारे दृष्टिकोण पर प्रतिक्रिया और बाहर से देखने पर मुझे बहुत खुशी होगी।

ग्राहक से परियोजना की प्रेस विज्ञप्ति यहां पाई जा सकती है ।

इसके साथ शुरू करने के लिए, मैं आपको बताता हूं कि ऑटोमेकर ने हमें क्यों घुमाया, और अपने दम पर प्रोजेक्ट नहीं किया। बड़ी जर्मन चिंताओं के लिए प्रक्रियाओं को बदलना मुश्किल है, और कार विकास प्रारूप शायद ही कभी सॉफ्टवेयर के लिए उपयुक्त है - पुनरावृत्तियां लंबी हैं और अच्छी योजना की आवश्यकता है। मुझे ऐसा लगता है कि जर्मन वाहन निर्माता इसे समझते हैं, और इसलिए आप उन स्टार्टअप्स से मिल सकते हैं जो उनके द्वारा स्थापित किए गए हैं, लेकिन एक स्वतंत्र कंपनी के रूप में काम करते हैं (उदाहरण के लिए, ऑडी और वोल्वो से जेनुइटी)। अन्य वाहन निर्माता स्टार्टअप ऑटोबान जैसी घटनाओं का आयोजन कर रहे हैं, जहां वे कार्यों और नए विचारों के लिए संभावित ठेकेदारों की तलाश कर रहे हैं। वे एक उत्पाद या प्रोटोटाइप का आदेश दे सकते हैं और थोड़े समय के बाद समाप्त परिणाम प्राप्त कर सकते हैं। यह अपने आप को एक ही काम करने की कोशिश करने की तुलना में तेज़ हो सकता है, और लागत के मामले में यह अपने स्वयं के विकास से अधिक नहीं है। प्रक्रिया परिवर्तनों की जटिलता ग्राहकों द्वारा ऑटोपायलट के साथ कार का परीक्षण शुरू करने के लिए आवश्यक अनुमतियों की संख्या द्वारा अच्छी तरह से प्रदर्शित की जाती है: लोगों की वीडियो रिकॉर्डिंग के लिए सहमति (भले ही हम डेटा नहीं बचाते हैं, और हम विशिष्ट लोगों की पहचान किए बिना केवल अनाम रूप में वीडियो का उपयोग करते हैं), वीडियो रिकॉर्डिंग के लिए सहमति प्रदेशों, ट्रेड यूनियन की सहमति और इन तकनीकों का परीक्षण करने के लिए काम करने वाला कंसूल, सुरक्षा सेवा की सहमति, आईटी सेवा की सहमति - यह पूरी सूची नहीं है।

कार्य

वर्तमान परियोजना में, ग्राहक यह समझना चाहता है कि "एआई" का उपयोग करके सेवा केंद्रों में कार चलाना संभव है या नहीं। उपयोगकर्ता स्क्रिप्ट है:

1. तकनीशियन एक मशीन के साथ काम करना शुरू करना चाहता है जो परीक्षण क्षेत्र के बाहर पार्किंग स्थल में कहीं है।
2. वह टैबलेट पर कार का चयन करता है, सेवा बॉक्स का चयन करता है और "ड्राइव इन" पर क्लिक करता है।
3. कार अंदर ड्राइव करती है और अंत बिंदु (लिफ्ट, रैंप, या कुछ और) पर रुकती है।
4. जब तकनीशियन कार पर काम खत्म करता है, तो वह टैबलेट पर एक बटन दबाता है, कार बाहर ड्राइव करती है और बाहर कुछ खाली जगह में पार्क करती है।

विशेषताएं: सभी कारों में कैमरे नहीं होते हैं। जिन मशीनों पर वे हैं, हमारे पास उनकी पहुंच नहीं है। मशीन का एकमात्र डेटा जो हमारे पास है वह सोनार और ओडोमेट्री है


इस प्रकार, कार को सेवा क्षेत्र में स्थापित बाहरी सेंसर द्वारा नियंत्रित किया जाना चाहिए।

निर्णय

अंतिम उत्पाद की वास्तुकला इस प्रकार है:

• सेवा क्षेत्र में हम बाहरी कैमरे, लिडार और अन्य चीजें (हैलो टेस्ला) स्थापित करते हैं।
• कैमरों से डेटा जेटसन TX2 (प्रत्येक में तीन कैमरे) जाता है, जो कैमरों से मशीन और पूर्व-प्रसंस्करण छवियों को खोजने के कार्य में लगे हुए हैं।
• इसके अलावा, कैमरा डेटा केंद्रीय सर्वर पर आता है, जिसे गर्व से कंट्रोल टॉवर कहा जाता है और जिस पर वे धारणा, ट्रैकिंग और पथ-नियोजन मॉड्यूल में आते हैं। विश्लेषण के परिणामस्वरूप, कार की गति के आगे की दिशा पर निर्णय लिया जाता है और इसे कार में भेजा जाता है।
• परियोजना के इस चरण में, कार में एक और जेटसन TX2 लगाया गया है, जो हमारे ड्राइवर का उपयोग करते हुए, वेक्टर से जुड़ता है, जो कार डेटा को डिक्रिप्ट करता है और कमांड भेजता है। TX2 एक केंद्रीय सर्वर से नियंत्रण आदेश प्राप्त करता है और उन्हें कार में प्रसारित करता है।

बुनियादी ढांचे के स्तर के लिए, आरओएस का उपयोग किया जाता है।

यहां एक तकनीशियन द्वारा कार चुनने और "ड्राइव" पर क्लिक करने के बाद क्या होता है:

1. सिस्टम एक कार की तलाश कर रहा है: हम अलार्म को ब्लिंक करने के लिए कार को एक कमांड भेजते हैं, जिसके बाद हम यह निर्धारित कर सकते हैं कि पार्किंग में कौन सी कार तकनीशियन द्वारा चुनी गई है। विकास के प्रारंभिक चरण में, हमने नंबर प्लेट द्वारा मशीन को निर्धारित करने के विकल्प पर भी विचार किया, लेकिन खड़ी कार के कुछ क्षेत्रों में संख्या दिखाई नहीं दे सकती है। इसके अलावा, अगर हमने पंजीकरण संख्या द्वारा कार का निर्धारण किया है, तो तस्वीरों के संकल्प को बहुत अधिक बढ़ाना होगा, जो उत्पादकता को नकारात्मक रूप से प्रभावित करेगा, और हम खोज और ड्राइविंग के लिए एक ही छवि का उपयोग करते हैं। यह चरण एक बार होता है और केवल तभी दोहराया जाता है यदि किसी कारण से हमने ट्रैकिंग में कार खो दी।
2. जैसे ही कार मिलती है, हम उन कैमरों से तस्वीरें खींचते हैं जो कार धारणा मॉड्यूल में टकराती है, जो अंतरिक्ष को विभाजित करती है और सभी वस्तुओं, उनके अभिविन्यास और आकारों के निर्देशांक देती है। यह प्रक्रिया जारी है, लगभग 30 फ्रेम प्रति सेकंड चल रही है। इसके बाद की प्रक्रियाएं भी स्थिर होती हैं और तब तक चलती हैं जब तक मशीन अंतिम बिंदु पर नहीं आती है।
3. ट्रैकिंग मॉड्यूल धारणा, सोनार और ओडोमेट्री से इनपुट प्राप्त करता है, सभी पाया वस्तुओं को मेमोरी में संग्रहीत करता है, उन्हें जोड़ता है, स्थान को परिष्कृत करता है, वस्तुओं की स्थिति और गति की भविष्यवाणी करता है।
4. इसके बाद, पथ योजनाकार, जिसे दो भागों में विभाजित किया गया है: वैश्विक मार्ग के लिए वैश्विक पथ योजनाकार और स्थानीय के लिए स्थानीय पथ योजनाकार (बाधाओं से बचने के लिए जिम्मेदार), एक पथ बनाता है और तय करता है कि हमारी कार को कहां जाना है, एक कमांड भेजता है।
5. जेटसन कार से कमांड लेता है और उसे कार में प्रसारित करता है।

आगमन के साथ ही प्रस्थान होता है।

अनुभूति

मुख्य और, मेरी राय में, सबसे दिलचस्प मॉड्यूल धारणा है। यह मॉड्यूल सेंसर से डेटा का इस तरह से वर्णन करता है कि आप आंदोलन के बारे में सही निर्णय ले सकें। हमारी परियोजना में, यह सभी वस्तुओं के निर्देशांक, अभिविन्यास और आकार देता है जो कैमरे पर आते हैं। इस मॉड्यूल को डिजाइन करते समय, हमने एल्गोरिदम के साथ शुरू करने का फैसला किया, जो हमें एक पास में छवि का विश्लेषण करने की अनुमति देगा। हमने कोशिश की:

1. विघटित VAE । Β-VAE के लिए किए गए एक छोटे से संशोधन ने हमें नेटवर्क को प्रशिक्षित करने की अनुमति दी ताकि अव्यक्त वैक्टर एक योजनाबद्ध शीर्ष-डाउन दृश्य में छवि जानकारी संग्रहीत करें।
2. सशर्त GAN (सबसे प्रसिद्ध कार्यान्वयन pix2pix है )। इस नेटवर्क का उपयोग नक्शे बनाने के लिए किया जा सकता है। हमने इसे ऊपर से एक योजनाबद्ध दृश्य बनाने के लिए भी इस्तेमाल किया, एक ही समय में एक या सभी कैमरों से डेटा डालकर और आउटपुट पर ऊपर से एक योजनाबद्ध दृश्य की प्रतीक्षा कर रहे थे।

एक कैमरे के लिए सशर्त GAN पुनरावृत्तियों में से एक, बाएं से दाएं: इनपुट छवि, नेटवर्क पूर्वानुमान, अपेक्षित परिणाम



वास्तव में, इन तरीकों का विचार यह सुनिश्चित करना है कि अंतिम नेटवर्क सभी कारों और अन्य चलती वस्तुओं के स्थान और अभिविन्यास को समझ सकता है जो एक बार इनपुट फोटो को देखकर कैमरे पर गिर गए हैं। इस मामले में वस्तुओं पर डेटा अव्यक्त वैक्टर में संग्रहीत किया जाएगा। नेटवर्क का प्रशिक्षण सिम्युलेटर से डेटा पर हुआ, जो उस बिंदु की सटीक प्रतिलिपि है जहां प्रदर्शन होगा। और हम कुछ परिणाम प्राप्त करने में कामयाब रहे, लेकिन हमने कई तरीकों से इन तरीकों का उपयोग नहीं करने का फैसला किया:

• आवंटित समय में, हम यह नहीं सीख सके कि छवि का वर्णन करने के लिए अव्यक्त वैक्टर से डेटा का उपयोग कैसे किया जाए। नेटवर्क का परिणाम हमेशा एक तस्वीर रहा है - वस्तुओं के एक योजनाबद्ध लेआउट के साथ एक शीर्ष दृश्य। यह कम सटीक है और हमें डर था कि कार चलाने के लिए इतनी सटीकता पर्याप्त नहीं होगी।
• समाधान स्केलेबल नहीं है: सभी बाद के प्रतिष्ठानों के लिए और ऐसे मामलों के लिए जब आपको कुछ कैमरों की दिशा बदलने की आवश्यकता होती है, सिम्युलेटर के पुन: संयोजन और दोहराया पूर्ण प्रशिक्षण की आवश्यकता होती है।

फिर भी, हम इन दृष्टिकोणों की संभावनाओं को समझने में रुचि रखते थे, और हम भविष्य के कार्यों के लिए उन्हें ध्यान में रखेंगे।

उसके बाद, हमने वस्तुओं के लिए एक नियमित खोज + के माध्यम से दूसरी ओर कार्य को देखा, एक नेटवर्क पाया वस्तुओं की स्थानिक स्थिति (उदाहरण के लिए, यह या वह )। यह विकल्प हमें सबसे सटीक लगा। एकमात्र माइनस यह है कि यह पहले प्रस्तावित दृष्टिकोणों की तुलना में धीमा है, लेकिन यह हमारे संभावित देरी ढांचे में फिट बैठता है, क्योंकि सेवा क्षेत्र में कार की गति 5 किमी / घंटा से अधिक नहीं है। ऑब्जेक्ट की 3 डी स्थिति की भविष्यवाणी करने के क्षेत्र में सबसे दिलचस्प काम हमें यह एक लग रहा था, जो आईआईटीटीआई पर बहुत अच्छे परिणाम दिखाता है । हमने कुछ परिवर्तनों के साथ एक समान नेटवर्क बनाया और आसपास के बॉक्स को निर्धारित करने के लिए अपना स्वयं का एल्गोरिदम लिखा, और अधिक सटीक होने के लिए, जमीन पर वस्तु के प्रक्षेपण के केंद्र के निर्देशांक का आकलन करने के लिए एक एल्गोरिथ्म - आंदोलन की दिशा के बारे में निर्णय लेने के लिए, हमें वस्तुओं की ऊंचाई पर डेटा की आवश्यकता नहीं है। ऑब्जेक्ट की छवि और इसके प्रकार (कार, पैदल यात्री, ..) को नेटवर्क इनपुट से खिलाया जाता है, और इसके आयाम और स्थानिक अभिविन्यास आउटपुट होते हैं। अगला, मॉड्यूल प्रक्षेपण केंद्र का मूल्यांकन करता है और सभी वस्तुओं के लिए डेटा देता है: केंद्र के समन्वय, अभिविन्यास और आयाम (चौड़ाई और लंबाई)।

अंतिम उत्पाद में, प्रत्येक चित्र को वस्तुओं की खोज के लिए पहले नेटवर्क के माध्यम से चलाया जाता है, फिर सभी वस्तुओं को 3 डी नेटवर्क पर भेजा जाता है ताकि अभिविन्यास और आकार का अनुमान लगाया जा सके, जिसके बाद हम प्रत्येक के प्रक्षेपण केंद्र का अनुमान लगाते हैं और इसे और अभिविन्यास और आकार के डेटा को आगे भेजते हैं। इस पद्धति की एक विशेषता यह है कि यह वस्तु खोज नेटवर्क से सीमा बॉक्स सीमा की सटीकता के लिए बहुत मजबूती से बंधा हुआ है। इस कारण से, YOLO जैसे नेटवर्क हमें शोभा नहीं देते। हमें रेटिनानेट नेटवर्क पर सीमा बॉक्स के प्रदर्शन और सटीकता का इष्टतम संतुलन मिला।

यह ध्यान देने योग्य है कि इस परियोजना पर हम भाग्यशाली थे: भूमि समतल है। वैसे, यह एक प्रसिद्ध समुदाय के रूप में फ्लैट नहीं है, लेकिन हमारे क्षेत्र में कोई झुकता नहीं है। यह ऑब्जेक्ट के लिए दूरी के बारे में जानकारी के बिना पृथ्वी विमान के निर्देशांक में वस्तुओं को प्रोजेक्ट करने के लिए फिक्स्ड मोनोकुलर कैमरों के उपयोग की अनुमति देता है। भविष्य की योजनाओं में एकात्मक गहराई की भविष्यवाणी की शुरूआत शामिल है। इस विषय पर बहुत सारे काम हैं, उदाहरण के लिए, अंतिम और बहुत ही रोचक में से एक जो हम भविष्य की परियोजनाओं के लिए प्रयास कर रहे हैं। गहराई की भविष्यवाणी आपको न केवल समतल जमीन पर काम करने की अनुमति देगी, इसमें संभावित रूप से बाधाओं को निर्धारित करने की सटीकता को बढ़ाना चाहिए, नए कैमरों को कॉन्फ़िगर करने की प्रक्रिया को सरल करना चाहिए और प्रत्येक वस्तु को लेबल करने की आवश्यकता को समाप्त करना होगा - हमें परवाह नहीं है कि यह किस तरह की वस्तु है यदि यह किसी प्रकार की बाधा है।

यह सब, पढ़ने के लिए धन्यवाद, और मुझे सवालों के जवाब देने में खुशी होगी। एक बोनस के रूप में, मैं एक अप्रत्याशित नकारात्मक प्रभाव के बारे में बात करना चाहता हूं: ऑटोपायलट कार के उन्मुखीकरण के बारे में परवाह नहीं करता है, उसके लिए यह कोई फर्क नहीं पड़ता कि कैसे जाना है - सामने या पीछे। मुख्य बात यह है कि बेहतर तरीके से ड्राइव करें और किसी में भी दुर्घटना न करें। इसलिए, एक उच्च संभावना है कि कार रिवर्स में रास्ते का हिस्सा यात्रा करेगी, विशेष रूप से छोटे क्षेत्रों में जहां उच्च गतिशीलता की आवश्यकता होती है। हालांकि, लोगों को इस तथ्य के लिए उपयोग किया जाता है कि कार ज्यादातर आगे बढ़ रही है, और अक्सर ऑटोपायलट से समान व्यवहार की उम्मीद करते हैं। यदि कोई व्यवसायी एक ऐसी कार देखता है, जो सामने की सवारी करने के बजाय पीछे की ओर जाती है, तो वह विचार कर सकता है कि उत्पाद तैयार नहीं है और उसमें त्रुटियाँ हैं।

पीएस मैं माफी मांगता हूं कि वास्तविक परीक्षण के साथ कोई चित्र और वीडियो नहीं हैं, लेकिन मैं उन्हें कानूनी कारणों से प्रकाशित नहीं कर सकता।