😶 ◀️ ㊙️ सिमेंटिक सेगमेंट के माध्यम से सड़क की पहचान 🕟 🔤 🧛🏾

पिछली श्रृंखला में, मैंने अपने घरेलू टैंक के स्वायत्त आंदोलन के साथ एक प्रयोग किया। सड़क को एक रंग फिल्टर का उपयोग करके मान्यता दी गई थी, और परिणामस्वरूप मुखौटा विशेष रूप से प्रशिक्षित क्लासिफायर न्यूरल नेटवर्क के प्रवेश द्वार पर गया, जिसने दाएं, बाएं या सीधे जाने का विकल्प चुना।

कमजोर बिंदु रंग रंगों की परिवर्तनशीलता के कारण स्वयं सड़क मार्ग की मान्यता थी, क्योंकि निर्णय लेने वाले तंत्रिका नेटवर्क ने अजीब परिणाम उत्पन्न किए। उस लेख की टिप्पणियों ने सिमेंटिक विभाजन पर ध्यान देने की सिफारिश की। यह विषय होनहार निकला और खंडित तंत्रिका नेटवर्क के उपयोग ने इसके फायदे, लेकिन इसके नुकसान भी लाए, यह उनके बिना कहां होगा।

लेकिन पहले चीजें पहले और थोड़ा सा उपकरण।

विभाजन

विभाजन एक छवि के कुछ हिस्सों को उजागर करने की प्रक्रिया है। सबसे सरल और सबसे स्पष्ट प्रकार का विभाजन रंग है। हालांकि, इस पद्धति का उपयोग करते हुए, यह समझना असंभव है कि चित्र में क्या और कहाँ दर्शाया गया है।

यहाँ एक अच्छा लेख है जो आदिम दृष्टिकोणों का वर्णन करता है।

शब्दार्थ विभाजन

सिमेंटिक विभाजन - इन वस्तुओं के प्रकारों को निर्धारित करने के साथ एक छवि को वस्तुओं में विभाजित करना।

यह कुछ इस तरह दिखता है:

परिणाम बहुत प्रभावशाली हैं, आइए देखें कि वास्तविक जीवन में अनुवाद करने के लायक क्या है।

यू-नेट

सबसे प्रसिद्ध तंत्रिका नेटवर्क, मूल रूप से दवा के लिए विकसित किया गया था।
प्राथमिक स्रोत

लोगों ने जल्दी से महसूस किया कि दृष्टिकोण का उपयोग सभी अवसरों के लिए किया जा सकता है।

इंटरनेट पर कई लेख हैं जो डेटा तैयार करते हैं और यू-नेट नेटवर्क को प्रशिक्षित करते हैं:

हालांकि, मुझे जल्दी से लेने और प्रयोग करने के लिए तैयार यू-नेट नेटवर्क नहीं मिला।

ई-नेट

एक छोटा और कम ज्ञात नेटवर्क। सिर्फ शहर की सड़कों को पहचानने के लिए बनाया गया है।

डेटा

सड़क विभाजन के लिए सबसे लोकप्रिय डेटासेट (उन्होंने शुरू में ई-नेट सिखाया था):

उन्हीं डेटासेट पर अब यू-नेट का प्रशिक्षण दिया जा रहा है।

कार्यान्वयन विकल्प

विभाजन पर नई जानकारी की बाढ़ बहुत भारी थी। सहज रूप से, मैं कुछ सरल करना चाहता था। मैंने नेटवर्क की वास्तुकला को समझने और सीखने में समय बिताने के लिए आंतरिक ज़ेन को महसूस नहीं किया। लेकिन PyImageSearch के लेख में OpenCV-DNN के साथ एक प्रारूप में तैयार और प्रशिक्षित तंत्रिका नेटवर्क, इसके अलावा, था।

तो चुनाव कम से कम प्रतिरोध की ओर किया गया था।

उपयोग बहुत सरल है:
(सबसे अधिक चिंता की बात यह है कि नेटवर्क को 1024x512 चित्रों में प्रशिक्षित किया गया है - यह, सबसे पहले, कैमरा रास्पबेरी पर अधिक देता है, और दूसरी बात, डेटा की इस राशि के प्रसंस्करण के लिए आवश्यक प्रदर्शन कुछ भ्रामक है। परिणामस्वरूप, मुख्य समस्या बिल्कुल यही होगी)।

हम फाइलों से तंत्रिका नेटवर्क को पढ़ते हैं (एक में, मॉडल खुद, अन्य वर्ग नामों में, तीसरे - रंगों में)।

def load_segment_model(): try: classes = None with open(PiConf.SEGMENT_CLASSES) as f: classes = f.read().strip().split("\n") colors = None with open(PiConf.SEGMENT_COLORS) as f: colors= f.read().strip().split("\n") colors = [np.array(c.split(",")).astype("int") for c in colors] colors = np.array(colors, dtype="uint8") print("[INFO] loading model...") net = cv2.dnn.readNet(PiConf.SEGMENT_MODEL) return net, classes, colors except Exception as e: logging.exception("Cannot load segment model") return None, None, None

हम छवि को खंडित करते हैं, साथ ही साथ मूल छवि के शीर्ष पर खंडों को चिह्नित करते हैं
(मेरे मामले में, सड़क को छोड़कर सभी वर्ग अदृश्य हैं)।

 def segment_image(image_path, seg_net, seg_classes, seg_colors): image0 = cv2.imread(image_path) image = cv2.resize(image0, (1024, 512),interpolation=cv2.INTER_NEAREST) blob = cv2.dnn.blobFromImage(image, 1 / 255.0, (1024, 512), 0, swapRB=True, crop=False) seg_net.setInput(blob) start = time.time() output = seg_net.forward() end = time.time() print("[INFO] inference took {:.4f} seconds".format(end - start)) (numClasses, height, width) = output.shape[1:4] classMap = np.argmax(output[0], axis=0) mask = seg_colors[classMap] mask = cv2.resize(mask, (image0.shape[1], image0.shape[0]),interpolation=cv2.INTER_NEAREST) classMap = cv2.resize(classMap, (image0.shape[1], image0.shape[0]), interpolation=cv2.INTER_NEAREST) gmask = cv2.cvtColor(mask, cv2.COLOR_BGR2GRAY) gmask = cv2.resize(gmask, (128, 64), interpolation=cv2.INTER_NEAREST) gmask = gmask[0:64,32:96] output = ((0.6 * image0) + (0.4 * mask)).astype("uint8") return output, gmask

निरीक्षण

हम टैंक से तैयार चित्र लेते हैं और उन पर एक खंडित तंत्रिका नेटवर्क सेट करते हैं।

1

केवल फुटपाथ के बाईं ओर महंगा के रूप में मान्यता प्राप्त है।

हम चित्र को संपीड़ित करते हैं और उससे 64x64 का केंद्र आकार लेते हैं:
(यह आकार तंत्रिका नेटवर्क द्वारा अपेक्षित है, जो दिशा बदलने का निर्णय लेता है)

दिशा का तंत्रिका नेटवर्क (वास्तव में - क्लासिफायरियर) बाईं ओर ले जाने की आज्ञा देता है। बहुत सही नहीं है, लेकिन मुस्कराते हुए।

2

इसी तरह की स्थिति, फिर से, निचला दायां कोना खो जाता है (डामर गीला भी होता है)।
हालांकि, अधिकांश सड़क अभी भी मान्यता प्राप्त है।

क्लासिफायर सीधे जाने की पेशकश करता है।

3

वह स्थिति जब रोबोट फुटपाथ के बीच में था।

सड़क लगभग पूरी तरह से मान्यता प्राप्त है।

क्लासिफायर सही (अगली बार सड़क का किनारा खोजने के लिए) लेने के लिए आदेश देता है।

आवेदन

टैंक फर्मवेयर पर थोड़ा सा ध्यान देने के बाद, मैंने एक खंडित तंत्रिका नेटवर्क के साथ रंग सड़क डिटेक्टर को बदल दिया।

रास्पबेरी पाई पर यह सब लॉन्च करते समय, पहली चीज जो सामने आई थी वह निराशाजनक प्रदर्शन थी।
एक छवि को खंडित करने में 6 सेकंड लगते हैं - इस समय के दौरान, टैंक एक जोरदार ट्रोट के साथ सभी मोड़ों के माध्यम से फिसलने का प्रबंधन करता है।

वास्तविक परीक्षणों में, यह हुआ - फुटपाथ की लगभग सही पहचान और नियंत्रण तंत्रिका नेटवर्क से सही आदेशों के बावजूद - समय के दौरान छवि को संसाधित किया गया था, टैंक एक तरफ जाने में कामयाब रहा।

सामान्य तौर पर, इस आकार की छवियों को रास्पबेरी पर पचा नहीं जा सकता है।
ऐसा लगता है कि आपको अभी भी एक विशेष तंत्रिका नेटवर्क का प्रशिक्षण करना है।

सिमेंटिक सेगमेंट के माध्यम से सड़क की पहचान