OpenCV और Tensorflow के साथ स्वायत्त फुटपाथ ड्राइविंग

स्वायत्त कारों का निर्माण अब एक लोकप्रिय विषय है और शौकिया स्तर पर बहुत सारी दिलचस्प चीजें यहां हो रही हैं।

सबसे पुराना और सबसे प्रसिद्ध कोर्स उडेसिटी से ऑनलाइन डिग्री था।

तो, स्वायत्त मशीनों में एक बहुत ही फैशनेबल दृष्टिकोण होता है - व्यवहार क्लोनिंग, जिसका सार यह है कि कंप्यूटर एक व्यक्ति (पहिया पर) की तरह व्यवहार करना सीखता है, केवल रिकॉर्ड किए गए इनपुट और आउटपुट डेटा पर निर्भर करता है। मोटे तौर पर, कैमरे और इसी स्टीयरिंग कोण से छवियों का एक आधार है।

सिद्धांत रूप में, इन आंकड़ों पर एक तंत्रिका नेटवर्क को प्रशिक्षित करने के बाद, हम इसे एक मशीन चला सकते हैं।
यह दृष्टिकोण एनवीडिया के एक लेख पर आधारित है।

मुख्य रूप से Udacity छात्रों द्वारा किए गए कई कार्यान्वयन हैं:

• समय
• दो
• तीन

और भी दिलचस्प वास्तविक परियोजनाओं में आवेदन है। उदाहरण के लिए, गधा कार को विशेष रूप से प्रशिक्षित तंत्रिका नेटवर्क द्वारा नियंत्रित किया जाता है ।

इस तरह के एक संतृप्त इन्फोसिस सीधे कार्रवाई को धक्का देता है, खासकर जब से मेरा रोबोट टैंक पिछले लेख के बाद से इसके विकास में एक मृत अंत तक पहुंच गया है, और इसे तत्काल नए विचारों की आवश्यकता है। एक साहसिक सपना था - अपने टैंक के साथ पार्क में चलना, जो सामान्य तौर पर, एक घरेलू कुत्ते से भी बदतर नहीं है। बिंदु छोटा है - पार्क में फुटपाथ पर सवारी करने के लिए टैंक को सिखाने के लिए।

तो कंप्यूटर के संदर्भ में एक फुटपाथ क्या है?

चित्र में कुछ क्षेत्र जो अन्य क्षेत्रों से रंग में भिन्न है।

ऐसा हुआ कि मेरे लिए सुलभ पार्कों में, फुटपाथ तस्वीर में सबसे ग्रे वस्तु बन गया।

(ग्रेग आरजीबी मूल्यों के बीच न्यूनतम अंतर को संदर्भित करता है)। यह एक ग्रे संपत्ति है और फुटपाथ मान्यता में महत्वपूर्ण होगी।

ग्रे का एक और महत्वपूर्ण पैरामीटर चमक है। शरद ऋतु की तस्वीरों में ग्रे पूरी तरह से थोड़ा कम होता है, ताकि सड़क और अंकुश के बीच का अंतर केवल रंगों में हो।


सबसे स्पष्ट दृष्टिकोण के एक जोड़े को पूर्व-अंशांकित करना है - रोबोट को स्थिति दें ताकि सड़क स्क्रीन के अधिकांश हिस्से पर कब्जा कर ले

• औसत चमक लें (HSV प्रारूप में)
• या औसत आरजीबी टुकड़ा, सड़क के बने होने की गारंटी (जिस स्थिति में यह निचले बाएँ कोने में होगा)।

फुटपाथ को पहचानने के लिए इस तरह के मानदंड स्थापित करने के बाद, हम चित्र के माध्यम से चलते हैं और सड़क के कुछ आकार प्राप्त करते हैं।


अगला कदम ल्यूरिड स्पॉट को क्रिया में बदलना है - सीधे जाएं या दाएं या बाएं मुड़ें।

हम सीधे ड्राइव करते हैं यदि दायां किनारा दिखाई देता है और कोण ऊर्ध्वाधर से 45 डिग्री से कम है।

यदि दायाँ छोर दिखाई दे रहा है तो हम बाएँ मुड़ते हैं और कोण नीचे की ओर से भटक जाता है।
यदि हम दाहिने किनारे को नहीं देखते हैं तो दाईं ओर मुड़ें।

ल्यूरिड स्पॉट का दाहिना किनारा - इस समस्या को हल करने के लिए ज्यामिति का उपयोग करना बल्कि हर्षित है। बेहतर है अगर कृत्रिम दिमाग इन स्क्रैप में झुकाव के पैटर्न की तलाश में है।

यह वह जगह है जहाँ तंत्रिका नेटवर्क बचाव के लिए आते हैं।

मूल चित्रों को धोया जाता है, निचोड़ा जाता है और काट दिया जाता है, हम चयन करते हैं कि ग्रे फुटपाथ को पहचानें और काले और सफेद मास्क 64x64 प्राप्त करें।

हम इन मुखौटों को 3 समूहों - वाम, अधिकार, सीधे में अपघटित करते हैं और उन पर तंत्रिका नेटवर्क वर्गीकरण को प्रशिक्षित करते हैं।

डेटा एकत्र करना और तैयार करना एक थकाऊ काम है, इसमें कुछ महीने लगते हैं।

यहाँ नमूना मास्क हैं:

बाईं ओर:


दाईं ओर:


सही:


एक तंत्रिका नेटवर्क के साथ काम करने के लिए, मैंने Keras + Tensorflow का उपयोग किया।

सबसे पहले एनवीडिया से तंत्रिका नेटवर्क की संरचना लेने का विचार था, लेकिन, जाहिर है, यह कई अन्य कार्यों के लिए डिज़ाइन किया गया है और बहुत अच्छी तरह से वर्गीकरण का सामना नहीं करता है। परिणामस्वरूप, यह पता चला कि किसी भी बहु-श्रेणी वर्गीकरण ट्यूटोरियल से सबसे सरल तंत्रिका नेटवर्क काफी स्वीकार्य परिणाम देता है।

model = Sequential() activation = "relu" model.add(Conv2D(20, 5, padding="same", input_shape=input_shape)) model.add(Activation(activation)) model.add(MaxPooling2D(pool_size=(2, 2), strides=(2, 2))) model.add(Conv2D(50, 5, padding="same")) model.add(Activation(activation)) model.add(MaxPooling2D(pool_size=(2, 2), strides=(2, 2))) model.add(Flatten()) model.add(Dense(500)) model.add(Activation(activation)) model.add(Dense(cls_n)) opt = SGD(lr=0.01) model.add(Activation("softmax")) model.compile(loss="categorical_crossentropy", optimizer=opt, metrics=["accuracy"]) 

नेटवर्क के पहले संस्करण को प्रशिक्षित करने के बाद, मैं रास्पबेरी पाई के साथ अपनी असंगति में भाग गया। इससे पहले, मैं एक बहुत ही स्मार्ट व्यक्ति द्वारा एकत्र किए गए shamanism का उपयोग करके, Tensorflow संस्करण 1.1 का उपयोग करता था ।

दुर्भाग्य से, यह संस्करण पुराना है और केरस से मॉडल नहीं पढ़ सका।

हालांकि, हाल ही में Google के लोगों ने आखिरकार रास्पबेरी पाई के तहत TF को कम कर दिया है, हालांकि रास्पियन के नए संस्करण के तहत - ब्रेट। स्ट्रेच सभी के लिए अच्छा था, लेकिन एक साल पहले मेरे पास इसके लिए ओपनसीवी नहीं था, इसलिए टैंक जेसी के पास गया।

अब, परिवर्तन के दबाव में, मुझे स्ट्रेच पर जाना पड़ा। टेन्सरफ़्लो एक समस्या के बिना उठ गया (हालांकि इसमें कई घंटे लगे)। OpenCV एक वर्ष के लिए भी स्थिर नहीं था और संस्करण 4.0 पहले ही जारी किया जा चुका है। इसलिए वह इसे स्ट्रेच के तहत इकट्ठा करने में कामयाब रही, ताकि प्रवास में कोई बाधा न आए।

इस बारे में संदेह था कि रास्पबेरी वास्तविक समय में टेंसरफ्लो के रूप में इस तरह के एक राक्षस को कैसे खींचेगा, लेकिन सब कुछ आम तौर पर स्वीकार्य निकला - कुछ सेकंड के शुरुआती नेटवर्क लोड के बावजूद, वर्गीकरण स्वयं महत्वपूर्ण मेमोरी और सीपीयू की खपत के बिना प्रति सेकंड कई बार काम कर सकता है।

नतीजतन, अधिकांश समस्याएं और त्रुटियां सड़क की मान्यता के चरण में ठीक होती हैं।
संरचना की सादगी के बावजूद, तंत्रिका नेटवर्क बहुत कम याद आती है।

अद्यतन फर्मवेयर के साथ, टैंक पार्क के माध्यम से कट जाता है।

निरंतर चोटों के कारण, रोबोट लगातार दाईं ओर उड़ता है, ताकि कृत्रिम बुद्धि के बिना यह जल्दी से लॉन के लिए निकल जाए।


अब आप उसे सुबह चल सकते हैं और आने वाले कुत्तों का पता लगा सकते हैं।

संदर्भ:

• स्वायत्त मशीनों के लिए गहन सीखने पर एनवीडिया लेख
• गधा कार के लिए ऑटोपायलट प्रशिक्षण
• टैंक फर्मवेयर के साथ रेपो
• रेस्पियन के लिए संकलित ओपनसीवी के साथ रेपो
• एक तंत्रिका नेटवर्क के प्रशिक्षण के लिए एक स्क्रिप्ट और डेटा के साथ रेपो