👩🏼‍🎓 😄 👃🏽 सील बनाम तंत्रिका नेटवर्क 2. या रियल टाइम (लगभग) में रास्पबेरी ज़ीरो पर स्क्वीज़नेट v.1.1 चलाएं 🍪 👼🏼 🎡

सभी को नमस्कार!

पहला भाग लिखने के बाद , जो बहुत गंभीर नहीं था और व्यावहारिक रूप से विशेष रूप से उपयोगी नहीं था , मेरे विवेक ने मुझे थोड़ा निगल लिया। और मैंने जो शुरू किया, उसे खत्म करने का फैसला किया। यही है, वास्तविक समय में Rasperry Pi Zero W पर चलने के लिए तंत्रिका नेटवर्क के समान कार्यान्वयन का चयन करना (निश्चित रूप से, इस तरह के हार्डवेयर पर जितना संभव हो)। वास्तविक जीवन से डेटा पर उसे बाहर निकालने और हैबे पर परिणामों को रोशन करने के लिए।

चेतावनी! पहले हिस्से की तुलना में कट के नीचे एक काम करने योग्य कोड और कुछ और बिल्लियाँ हैं। तस्वीर में, खाट और कॉड, क्रमशः।

क्या नेटवर्क चुनना है?

मुझे याद है कि रास्पबेरी लोहे की कमजोरी के कारण, तंत्रिका नेटवर्क की प्राप्ति का विकल्प छोटा है। अर्थात्:

1. स्क्वीज़नेट।
2. योलोव 3 टिनी।
3. मोबाइलनेट।
4. शफ़लनेट।

पहले भाग में स्क्वीज़नेट के पक्ष में चुनाव कितना सही था? .. अपने हार्डवेयर पर उपर्युक्त तंत्रिका नेटवर्क में से प्रत्येक को चलाने के लिए एक लंबी घटना है। इसलिए, अस्पष्ट संदेहों से तंग आकर, मैंने यह तय किया कि अगर कोई मुझसे पहले इस तरह का सवाल करे, तो मैंने गूगल पर फैसला किया। यह पता चला कि उसने आश्चर्यचकित किया और इसकी विस्तार से जांच की। जो लोग स्रोत का उल्लेख कर सकते हैं। मैं खुद को इससे एक ही तस्वीर तक सीमित रखूंगा:

तस्वीर से यह निम्नानुसार है कि ImageNet डेटासेट पर प्रशिक्षित विभिन्न मॉडलों के लिए एक छवि के लिए प्रसंस्करण समय स्क्वीज़नेट v.1.1 के साथ सबसे कम है। हम इसे कार्रवाई के लिए एक मार्गदर्शक के रूप में लेंगे। YOLOv3 तुलना में शामिल नहीं था, लेकिन, जहां तक मुझे याद है, YOLO मोबाइलनेट की तुलना में अधिक महंगा है। यानी यह स्क्वीज़नेट को गति में भी हीन होना चाहिए।

चयनित नेटवर्क का कार्यान्वयन

ImageNet डेटासेट (Caffe फ्रेमवर्क) पर प्रशिक्षित स्क्वीज़नेट का वजन और टोपोलॉजी GitHub पर पाया जा सकता है । बस मामले में, मैंने दोनों संस्करणों को डाउनलोड किया ताकि बाद में उनकी तुलना की जा सके। क्यों ImageNet? सभी उपलब्ध वर्गों के इस सेट में अधिकतम कक्षाएं (1000 पीसी) हैं, इसलिए तंत्रिका नेटवर्क के परिणाम काफी दिलचस्प होने का वादा करते हैं।

इस बार हम देखेंगे कि रास्पबेरी ज़ीरो कैमरे से फ्रेम रिकग्निशन से कैसे निपटता है। यहाँ वह है, हमारी विनम्र कड़ी मेहनत करने वाले आज की पोस्ट:

मैंने पहले भाग में बताए गए एड्रियन रोजब्रुक ब्लॉग के स्रोत कोड को कोड के आधार के रूप में लिया, अर्थात् यहां से । लेकिन मुझे इसे काफी हल करना था:

1. अपने मॉडल को मोबाइलनेटएसएसडी के साथ स्क्वीज़नेट पर बदलें।
2. क्लाज 1 के कार्यान्वयन से कक्षाओं की संख्या 1000 तक बढ़ गई है। लेकिन साथ ही, बहु-रंगीन फ्रेम (एसएसडी कार्यात्मक) के साथ वस्तुओं को उजागर करने का कार्य, अफसोस, हटा दिया गया है।
3. कमांड लाइन के माध्यम से तर्कों के रिसेप्शन को हटाने के लिए (किसी कारण से, मापदंडों का ऐसा इनपुट मुझे परेशान करता है)।
4. VideoStream विधि निकालें, और इसके साथ एड्रियन द्वारा imutils पुस्तकालय प्रिय। प्रारंभ में, कैमरे से वीडियो स्ट्रीम प्राप्त करने के लिए विधि का उपयोग किया गया था। लेकिन रास्पबेरी ज़ीरो से जुड़े मेरे कैमरे के साथ, यह "अवैध निर्देश" जैसा कुछ दे रहा है, यह बेवकूफी से काम नहीं करता है।
5. मान्यता प्राप्त चित्र में फ्रेम दर (एफपीएस) जोड़ें, एफपीएस गणना को फिर से लिखें।
6. इस पोस्ट को लिखने के लिए बचत फ्रेम बनाएं।

रास्पबेरी स्ट्रेच ओएस, पायथन 3.5.3 के साथ रास्पबेरी पर और पाइप 3 के माध्यम से ओपनसीवी 3.4.1 स्थापित करें, निम्नलिखित बदल गया और शुरू हुआ:

यहाँ कोड

import picamera from picamera.array import PiRGBArray import numpy as np import time from time import sleep import datetime as dt import cv2 #    prototxt = 'models/squeezenet_v1.1.prototxt' model = 'models/squeezenet_v1.1.caffemodel' labels = 'models/synset_words.txt' #    rows = open(labels).read().strip().split("\n") classes = [r[r.find(" ") + 1:].split(",")[0] for r in rows] #    print("[INFO] loading model...") net = cv2.dnn.readNetFromCaffe(prototxt, model) print("[INFO] starting video stream...") #   camera = picamera.PiCamera() camera.resolution = (640, 480) camera.framerate = 25 #   camera.start_preview() sleep(1) camera.stop_preview() #     raw rawCapture = PiRGBArray(camera) #   FPS t0 = time.time() #     for frame in camera.capture_continuous(rawCapture, format="bgr", use_video_port=True): #    blob frame = rawCapture.array blob = cv2.dnn.blobFromImage(frame, 1, (224, 224), (104, 117, 124)) #    blob,     net.setInput(blob) preds = net.forward() preds = preds.reshape((1, len(classes))) idxs = int(np.argsort(preds[0])[::-1][:1]) #  FPS FPS = 1/(time.time() - t0) t0 = time.time() #    ,   FPS,    text = "Label: {}, p = {:.2f}%, fps = {:.2f}".format(classes[idxs], preds[0][idxs] * 100, FPS) cv2.putText(frame, text, (5, 25), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2) print(text) cv2.imshow("Frame", frame) #     Raspberry fname = 'pic_' + dt.datetime.now().strftime('%Y-%m-%d_%H-%M-%S') + '.jpg' cv2.imwrite(fname, frame) #    SD  key = cv2.waitKey(1) & 0xFF #    `q`    if key == ord("q"): break #   raw       rawCapture.truncate(0) print("[INFO] video stream is terminated") #    cv2.destroyAllWindows() camera.close()

परिणाम

कोड रास्पबेरी से जुड़े मॉनिटर की स्क्रीन पर प्रदर्शित होता है, इस रूप में अगला मान्यता प्राप्त फ्रेम। फ़्रेम के शीर्ष पर, केवल सबसे अधिक संभावना वर्ग प्रदर्शित होता है।

तो, एक कंप्यूटर माउस को एक माउस के रूप में पहचाना जाता था जिसमें बहुत अधिक संभावना होती है। उसी समय, छवियां 0.34 एफपीएस (यानी लगभग हर तीन सेकंड) की आवृत्ति पर अपडेट की जाती हैं। कैमरा पकड़ना और अगले फ्रेम के संसाधित होने की प्रतीक्षा करना थोड़ा कष्टप्रद है, लेकिन आप रह सकते हैं। वैसे, यदि आप एसडी कार्ड पर सेव फ्रेम को हटाते हैं, तो प्रोसेसिंग स्पीड बढ़कर 0.37 ... 0.38 FPS हो जाएगी। निश्चित रूप से, फैलाने के अन्य तरीके हैं। हम इंतजार करेंगे और देखेंगे, किसी भी स्थिति में, हम इस प्रश्न को अगले पदों के लिए छोड़ देंगे।

अलग से, मैं सफेद संतुलन के लिए माफी माँगता हूँ। तथ्य यह है कि बैकलाइट के साथ आईआर कैमरा रॅपबेरी से जुड़ा था, इसलिए अधिकांश फ्रेम अजीब लगते हैं। लेकिन तंत्रिका नेटवर्क के प्रत्येक अधिक मूल्यवान। जाहिर है, प्रशिक्षण सेट पर सफेद संतुलन अधिक सही था। इसके अलावा, मैंने सिर्फ कच्चे फ्रेम डालने का फैसला किया, ताकि पाठक उन्हें उसी तरह से देखे जिस तरह से वे तंत्रिका नेटवर्क को देखते हैं।

सबसे पहले, आइए स्क्वीज़नेट संस्करणों 1.0 (बाएं फ्रेम पर) और 1.1 (दाईं ओर) के काम की तुलना करें:

यह देखा जा सकता है कि संस्करण 1.1 1.0 से दो और एक चौथाई गुना तेज काम करता है (0.34 एफपीएस बनाम 0.15)। गति लाभ स्पष्ट है। यह इस उदाहरण में मान्यता सटीकता के बारे में निष्कर्ष निकालने के लायक नहीं है, क्योंकि सटीकता दृढ़ता से वस्तु, प्रकाश, चमक, छाया, आदि के सापेक्ष कैमरे की स्थिति पर निर्भर करती है।

भविष्य में ऐसे महत्वपूर्ण गति लाभ v1.1 से अधिक v.1.0 को देखते हुए, केवल स्क्वीज़नेट v.1.1 का उपयोग किया गया था। मॉडल के प्रदर्शन का आकलन करने के लिए, मैंने विभिन्न वस्तुओं पर कैमरे को इंगित किया जो ~~हाथ में आए~~ और आउटपुट पर निम्नलिखित फ्रेम प्राप्त किए:

एक कीबोर्ड माउस से भी बदतर है। शायद प्रशिक्षण सेट में, अधिकांश कीबोर्ड सफेद थे।

यदि आप स्क्रीन चालू करते हैं तो एक सेल फोन बहुत अच्छी तरह से परिभाषित है। एक स्क्रीन ऑफ वाला एक सेल एक तंत्रिका नेटवर्क को एक सेल के रूप में नहीं गिनता है।

एक खाली कप काफी सहनीय रूप से कॉफी कप के रूप में परिभाषित किया गया है। अब तक, सब कुछ बहुत अच्छा चल रहा है।

कैंची बदतर हैं, वे एक बाल क्लिप के रूप में नेट द्वारा हठपूर्वक परिभाषित किए गए हैं। हालांकि, सेब के पेड़ में नहीं तो बुलसे

आइए कार्य को जटिल करते हैं

चलो ~~सुअर~~ के तंत्रिका नेटवर्क पर कुछ मुश्किल डालने की कोशिश करते हैं। मैं बस एक घर का बना बच्चों के खिलौने भर में आया था। मेरा मानना है कि अधिकांश पाठक इसे खिलौना बिल्ली के रूप में पहचानते हैं। मुझे आश्चर्य है कि इसे हमारी अल्पविकसित कृत्रिम बुद्धि द्वारा क्या माना जाएगा।

बाईं ओर के फ्रेम में, आईआर प्रकाश ने कपड़े से सभी स्ट्रिप्स को मिटा दिया। नतीजतन, खिलौने को काफी सभ्य संभावना के साथ ऑक्सीजन मास्क के रूप में परिभाषित किया गया था। क्यों नहीं? खिलौने का आकार वास्तव में एक ऑक्सीजन मास्क जैसा दिखता है।

दाईं ओर के फ्रेम में, मैंने अपनी उंगलियों को आईआर हाइलाइट के साथ कवर किया, इसलिए खिलौने पर धारियां दिखाई दीं, और सफेद संतुलन अधिक विश्वसनीय हो गया। दरअसल, इस पोस्ट में कमोबेश सामान्य दिखने वाला यह एकमात्र फ्रेम है। लेकिन तंत्रिका नेटवर्क की छवि में विस्तार की इतनी बहुतायत है। उसने खिलौने को एक स्वेटशर्ट के रूप में पहचाना। मुझे कहना होगा कि यह भी "आकाश में उंगली" की तरह नहीं दिखता है। मारो अगर "सेब के पेड़" में नहीं, तो कम से कम सेब के बाग में)।

खैर, हम आसानी से अपनी कार्रवाई के चरमोत्कर्ष पर पहुंच गए। लड़ाई के स्टैंडआउट विजेता, पहले पोस्ट में विस्तार से अभिनीत, रिंग में प्रवेश करता है। और यह बहुत पहले तख्ते से हमारे तंत्रिका नेटवर्क के मस्तिष्क को आसानी से निकाल लेता है।

यह उत्सुक है कि एक बिल्ली व्यावहारिक रूप से अपनी स्थिति नहीं बदलती है, लेकिन हर बार इसे अलग तरीके से निर्धारित किया जाता है। और इस दृष्टिकोण से, यह एक स्कंक के समान है। दूसरे स्थान पर हम्सटर का सादृश्य है। आइए कोण को बदलने की कोशिश करें।

हाँ, यदि आप ऊपर से बिल्ली की तस्वीर लेते हैं, तो यह सही ढंग से निर्धारित की जाती है, लेकिन अगर आप सिर्फ बिल्ली के शरीर की स्थिति को फ्रेम में थोड़ा बदलते हैं, तो तंत्रिका नेटवर्क के लिए यह क्रमशः एक कुत्ता बन जाता है - साइबेरियाई कर्कश और मैलाम्यूट (एस्किस्ड स्लेज डॉग)।

और यह चयन सुंदर है कि एक बिल्ली के प्रत्येक अलग-अलग फ्रेम पर विभिन्न नस्लों के एक कुत्ते को परिभाषित किया गया है। और नस्लें दोहराती नहीं हैं)

वैसे, ऐसे पोज हैं जिनमें तंत्रिका नेटवर्क यह स्पष्ट हो जाता है कि यह अभी भी एक बिल्ली है, कुत्ता नहीं है। यही है, स्क्वीज़नेट v.1.1 अभी भी विश्लेषण के लिए इस तरह के ऑब्जेक्ट पर भी खुद को साबित करने में कामयाब रहा। परीक्षण की शुरुआत में वस्तुओं को पहचानने और अंत में एक बिल्ली के रूप में एक बिल्ली को पहचानने में तंत्रिका नेटवर्क की सफलता को देखते हुए, इस बार हम एक ठोस मुकाबला ड्रा घोषित करते हैं)

खैर, बस इतना ही। मैं सभी को अपने रास्पबेरी और किसी भी वस्तु पर प्रस्तावित कोड की कोशिश करने के लिए आमंत्रित करता हूं जो कि चेतन और निर्जीव वस्तुओं के दृश्य में आए हैं। मैं विशेष रूप से उन लोगों का आभारी रहूंगा जो रास्पबेरी पाई बी + पर एफपीएस को मापते हैं। मैं इस पोस्ट में परिणामों को उस व्यक्ति के संदर्भ में शामिल करने का वादा करता हूं जिसने डेटा भेजा है। मेरा मानना है कि इसे 1 एफपीएस से अधिक होना चाहिए!

मुझे उम्मीद है कि इस पोस्ट से कुछ जानकारी मनोरंजन या शैक्षिक उद्देश्यों के लिए उपयोगी होगी, और कोई व्यक्ति नए विचारों के साथ भी आ सकता है।

एक अच्छा काम सप्ताह है! और जल्द ही मिलते हैं)

UPD1: रास्पबेरी पाई 3 बी + पर, उपरोक्त स्क्रिप्ट 2 की आवृत्ति पर एक छोटे एफपीएस के साथ काम करती है।

UPD2: आरपीआई 3 बी + पर मूवडियस एनसीएस के साथ, स्क्रिप्ट 6 एफपीएस पर चलती है।

सील बनाम तंत्रिका नेटवर्क 2. या रियल टाइम (लगभग) में रास्पबेरी ज़ीरो पर स्क्वीज़नेट v.1.1 चलाएं

क्या नेटवर्क चुनना है?

चयनित नेटवर्क का कार्यान्वयन

परिणाम

आइए कार्य को जटिल करते हैं

More articles: