👩🏼‍🏭 💪🏻 🙏🏾 REST के माध्यम से इंटेल न्यूरल कंप्यूटर स्टिक एक्सेस को मल्टीप्रोसेस करना 🧑🏽‍🤝‍🧑🏼 🏴‍☠️ 👊🏼

सिंगल-टास्किंग की समस्या

पिछली श्रृंखला में, मैंने इंटेल न्यूरल कंप्यूटर स्टिक 2 को टैंक पर रखा और उस पर सभी तंत्रिका नेटवर्क गणनाओं को फेंक दिया, जिसमें टेन्सरफ़्लो और ओपनसीवी-डीएनएन को छोड़ दिया।

एक समस्या थी जो मैंने पहले ही सामना कर ली थी - एक साथ कई प्रक्रियाओं से एनसीएस के साथ काम करने में असमर्थता। तब यह महत्वपूर्ण नहीं था, लेकिन अब यह पता लगाने का समय आ गया है।

दूसरी प्रक्रिया से एक मॉडल को लोड करने की कोशिश करते समय, OpenVino ने शपथ लेना शुरू कर दिया:

E: [ncAPI] [ 926029] resetAll:348 Failed to connect to stalled device, rc: X_LINK_ERROR E: [ncAPI] [ 933282] ncDeviceOpen:672 Failed to find suitable device, rc: X_LINK_DEVICE_NOT_FOUND

इंटेल सपोर्ट फोरम की खोज करने से, एक समान समस्या पाई गई ।

वहाँ से हम प्रलेखन में स्थानांतरित कर दिए गए जहाँ यह स्पष्ट रूप से कहा गया है:

एकल डिवाइस को कई प्रक्रियाओं में साझा नहीं किया जा सकता है।

इस प्रयोग पर, आप मल्टीप्रोसेस का उपयोग कम से कम और शुरू कर सकते हैं।

NCS सेवा

एनसीएस के साथ प्रत्यक्ष काम को एक अलग सेवा में रखना और सभी ग्राहकों को एपीआई वितरित करना पूरी तरह से तर्कसंगत है, जिसके माध्यम से वे काम करेंगे।

सामान्य तौर पर, यह तंत्रिका नेटवर्क के संदर्भ में रोबोट और इसकी नई उपलब्धियों के बारे में एक विषय माना जाता था। लेकिन यह पता चला है कि एनसीएस एपीआई पर सामग्री एक अलग लेख के लिए काफी आकर्षित है।

एनसीएस एपीआई

निम्न स्तर पर, NCS API बहुत सरल है:
- लोड मॉडल
- गणना शुरू करें
- मॉडल की एक सूची प्राप्त करें
- मॉडल गुण प्राप्त करें

यदि मॉडल लोड करते समय सब कुछ अस्पष्ट है, तो गणना निकास एक संदर्भ-संवेदनशील टेंसर है जिसे क्लाइंट को सभी की आवश्यकता नहीं हो सकती है।

मॉडल की एक सूची प्राप्त करना भी काफी पारदर्शी है, और गुणों से इनपुट टेंसर का आयाम तुरंत ध्यान में आता है - मानव शब्दों में इसका मतलब है कि नेटवर्क सेटिंग्स के लिए अग्रिम में चित्रों को समायोजित करना अच्छा होगा।

इसके अलावा, एक निम्न स्तर अच्छा है, लेकिन यदि आप विशेष कार्यों का समर्थन करते हैं, तो यह तर्क और डेटा को सरल करता है।

इस प्रकार, आधार के अलावा, वर्गीकरण, पहचान और विभाजन के लिए एपीआई का समर्थन करने के लिए एक कार्य है।

दुर्भाग्य से, सबसे दिलचस्प विभाजन मॉडल एनसीएस पर समर्थित नहीं हैं, इसलिए आपको सड़क और मार्कअप के साथ खुद को सबसे सरल तक सीमित करना होगा।

इनमें से कोई भी ऑपरेशन मॉडल की मूल गणना का उपयोग करता है, लेकिन वे आउटपुट टेंसर की व्याख्या में भिन्न होते हैं।

मुख्य इंटरफ़ेस

तो, मुख्य इंटरफ़ेस में विधियाँ शामिल हैं:

POST: / लोड - मॉडल लोड करें
पोस्ट: / अनलोड / $ मॉडल - मॉडल को हटा दें (सेवा से, डिवाइस से निकालना असंभव है)
GET: / सूची - मॉडल की एक सूची प्राप्त करें
प्राप्त करें: / इनपुट / आकार / $ मॉडल - इनपुट टेंसर के आयाम का पता लगाएं
POST: / inference / फ़ाइल / $ मॉडल - मेमोरी से डेटा के साथ एक गणना करें
POST: / inference / पाथ / $ मॉडल - फाइल सिस्टम में डेटा के साथ एक गणना करें

मेमोरी और फाइल सिस्टम के डेटा के बारे में दो शब्द इस प्रकार हैं:

यदि एनसीएस सेवा और उसके उपयोगकर्ता एक ही रास्पबेरी पर चल रहे हैं, तो यह चित्र को स्थानांतरित करने से बचाने और इसके बजाय पथ को स्थानांतरित करने के लिए समझ में आता है ताकि सेवा स्वयं फ़ाइल को पढ़ ले।
यदि चित्र पहले से ही मेमोरी में है (या फ़ाइल सिस्टम में मौजूद नहीं है), तो हम इसे सीधे वहां से स्थानांतरित करते हैं।

टेस्ट बताते हैं कि मेमोरी से बाइट्स ट्रांसफर करना काफी धीमा है (1000 प्रयासों के लिए किया गया माप):

मेमोरी से: 87.5 सेकंड
फ़ाइल पथ: 63.3150 सेकंड

हालाँकि, ये दो विकल्प किसी भी विधि के लिए समर्थित हैं, दोनों सामान्य गणना के लिए और नीचे विशेष मामलों के लिए।

सामान्य तौर पर, आक्षेप विधि एक चित्र के रूप में एक संख्यात्मक सरणी के रूप में एक तस्वीर लेती है और एक ही प्रारूप में एक टेंसर का उत्पादन करती है।
निकास की व्याख्या कैसे करें पहले से ही एक ग्राहक समस्या है।
इस कार्य को सुविधाजनक बनाने के लिए, सेवा विशिष्ट तरीकों का समर्थन करती है जो आउटपुट टेंसर से मानव रूप में महत्वपूर्ण जानकारी निकालते हैं।

वर्गीकरण

वर्गीकरण के लिए, हम एक अलग REST विधि बनाते हैं, जो आउटपुट टेंसर को जोड़े (वर्ग, स्कोर) के एक सेट में परिवर्तित करती है।

 def get_class_tensor(data): ret = [] thr = 0.01 while(True): cls = np.argmax(data) if data[cls] < thr: break; logging.debug(("Class", cls, "score", data[cls])) c = {"class" : int(cls), "score" : int(100 * data[cls])} data[cls] = 0 ret.append(c) return ret def classify(model_id, img): rc, out = run_inference(model_id, img) if not rc: return rc, out return True, get_class_tensor(out)

सामान्य आउटपुट के मामले में, दो तरीकों का समर्थन किया जाता है - मेमोरी में एक फ़ाइल के माध्यम से और डिस्क पर एक पथ।

पोस्ट: / वर्गीकृत / फ़ाइल / $ मॉडल
पोस्ट: / वर्गीकृत / पथ / $ मॉडल

खोज

डिटेक्टर आउटपुट टेंसर में एक सेट (वर्ग, संभावना, सामान्यीकृत निर्देशांक) होता है और बल्कि बोझिल लगता है।

असंभाव्य विकल्पों को काटते हुए, हम इसे एक समझने योग्य रूप में बदलते हैं:

 def get_detect_from_tensor(t, rows, cols): score = int(100 * t[2]) cls = int(t[1]) left = int(t[3] * cols) top = int(t[4] * rows) right = int(t[5] * cols) bottom = int(t[6] * rows) return {"class" : cls, "score" : score, "x" : left, "y" : top, "w" : (right - left), "h" : (bottom - top)} def build_detection(data, thr, rows, cols): T = {} for t in data: score = t[2] if score > thr: cls = int(t[1]) if cls not in T: T[cls] = get_detect_from_tensor(t, rows, cols) else: a = T[cls] if a["score"] < score: T[cls] = get_detect_from_tensor(t, rows, cols) return list(T.values()) def detect(model_id, img): rc, out = run_inference(model_id, img) if not rc: return rc, out rows, cols = img.shape[:2] return True, build_detection(out[0], 0.01, rows, cols)

हमेशा की तरह, दोनों तरीकों का समर्थन किया जाता है:

पोस्ट: / पता लगाने / फ़ाइल / $ मॉडल
पोस्ट: / पता लगाने / पथ / $ मॉडल

विभाजन

सेगमेंटेशन टेंसर में क्लास और यहां तक कि तंत्रिका नेटवर्क के आयाम में संभावनाएं होती हैं।
इसे बस क्लास मास्क में बदलें:

 def segment(model_id, img): rc, out = run_inference(model_id, img) if not rc: return rc, out out = np.argmax(out, axis=0) out = cv.resize(out, (img.shape[1], img.shape[0]),interpolation=cv.INTER_NEAREST) return True, out

पोस्ट: / खंड / फ़ाइल / $ मॉडल
POST: / खंड / पथ / $ मॉडल

निष्कर्ष

जैसा कि पहले ही उल्लेख किया गया है, मैंने मूल रूप से इसके उपयोग के बारे में लेख के एक अध्याय में सेवा के बारे में बात करने की योजना बनाई, लेकिन यह पता चला कि वॉल्यूम एक अलग दस्तावेज़ पर खींच रहा है।

फिर से, मैं रास्पबेरी पाई पर सेवा का उपयोग करता हूं, लेकिन इसे किसी भी मंच पर चलाया जा सकता है जिसमें एनसीएस के साथ अजगर और ओपनविनो हैं।

REST के माध्यम से इंटेल न्यूरल कंप्यूटर स्टिक एक्सेस को मल्टीप्रोसेस करना