👧 🤾 👴🏻 स्ट्रीम एनालिटिक्स: एसएएस ईएसपी के साथ त्वरित शुरुआत 👧🏾 🤵🏼 🦔

डेटा स्ट्रीम पर विश्लेषणात्मक एल्गोरिदम का उपयोग अब विश्लेषणात्मक प्रणालियों के निर्माण के क्षेत्र में सबसे जरूरी कार्यों में से एक है। उदाहरण के लिए, कई उच्च-सटीक पूर्वानुमान मॉडल, औद्योगिक संयंत्रों के सेंसर से रीडिंग के आधार पर विकसित किए गए, गंभीर औद्योगिक दुर्घटनाओं को रोकने के लिए तैयार हैं, लेकिन इसके लिए उन्हें अंतिम उपकरणों ("एज डिवाइस") पर प्रदर्शन करने की आवश्यकता है, जहां सेंसर से रीडिंग वास्तविक समय में आती हैं। एसएएस इवेंट स्ट्रीम प्रोसेसिंग उत्पाद को इस समस्या को हल करने और एनालिटिक्स को "ऑनलाइन" स्थानांतरित करने के लिए कहा जाता है। इस प्रकाशन में, मैं एक लागू समस्या के उदाहरण का उपयोग करके इसके कॉन्फ़िगरेशन के अनुभव को साझा करना चाहूंगा - वीडियो कैमरों से छवियों का विश्लेषण।

प्रौद्योगिकी

एसएएस कई वर्षों से एसएएस उत्पाद लाइन में मौजूद है और अपने स्वयं के स्ट्रीम प्रोसेसिंग समाधान, एसएएस इवेंट स्ट्रीम प्रोसेसिंग (इसके बाद ईएसपी) को विकसित कर रहा है। डेवलपर्स के लिए मुख्य कार्य उच्च प्रदर्शन, बाजार में मौजूदा समाधानों की तुलना में अधिक परिमाण के आदेश प्राप्त करना था। ऐसा करने के लिए, ईएसपी के विकास के दौरान, उन्होंने डिस्क पर मध्यवर्ती गणना और अनुक्रमित के भंडारण को पूरी तरह से छोड़ दिया। सभी स्ट्रीम रूपांतरण रैम में किए जाते हैं, और ईवेंट-विशिष्ट रीकाउंटिंग संरक्षित की जाती है।

एसएएस ईएसपी में मेमोरी के साथ काम करें। रैम में ईवेंट रिपॉजिटरी इंटरमीडिएट परिणामों को संग्रहीत करता है और अतिरिक्त इंडेक्स के कारण आंतरिक या बाहरी प्रक्रियाओं के समानांतर एक्सेस के मामले में अवरुद्ध नहीं होता है।

इंजन बड़ी डेटा धाराओं को संभाल सकता है - प्रति सेकंड कई मिलियन घटनाओं पर। उसी समय, कम विलंबता को बनाए रखते हुए, जिसके कारण उन्होंने ऑनलाइन विपणन और बैंक धोखाधड़ी का मुकाबला करने के लिए समाधान में तेजी से अपनी जगह ली। वहां, यह ग्राहक के संचालन का एक बुद्धिमान फ़िल्टर है और तुरंत खातों पर गैर-मानक गतिविधि का पता लगाता है, डेटा स्ट्रीम से धोखाधड़ी के संचालन को अलग करता है।

लेकिन फिर भी यह ईएसपी की एक माध्यमिक विशेषता है। इंजन को डेटा स्ट्रीम पर विश्लेषणात्मक मॉडल (एसएएस, सी, पायथन और अन्य) के निरंतर उपयोग के लिए एक तंत्र के रूप में डिज़ाइन किया गया है।

इवेंट प्रोसेसिंग को स्ट्रीमिंग करने का सिद्धांत।

एक उदाहरण के रूप में, एसएएस विया बिजनेस ब्रेकफास्ट फोरम के लिए, हमने एसएएस में छवि विश्लेषण के कार्य के आधार पर एक डेमो स्टैंड स्थापित करने का निर्णय लिया। और यह है कि हमने इसे कैसे सेट किया और इस प्रक्रिया में हमें क्या मिला।

स्ट्रीम वीडियो विश्लेषण

हम अपने निपटान में एसएएस विया प्लेटफॉर्म पर इन-डेप्थ एनालिटिक्स विभाग के सहयोगियों द्वारा निर्मित एक विश्लेषणात्मक मॉडल पर थे। इसका सार यह था कि, कार के इंटीरियर में एक ड्राइवर की एक इनपुट छवि प्राप्त करना, एक एल्गोरिथ्म (इस मामले में, एक प्रशिक्षित तंत्रिका नेटवर्क) ने कक्षाओं के अनुसार ड्राइवर के व्यवहार को वर्गीकृत किया: "सामान्य ड्राइविंग", "एक यात्री के साथ बातचीत से विचलित", "बात कर" फोन ”,“ एसएमएस लिखता है ”आदि।

मॉडल का एक उदाहरण: इनपुट छवि को "एसएमएस लिखता है", छवि के उस हिस्से के आधार पर वर्गीकृत किया जाता है जहां फोन हिट होता है।

यह प्रश्न उत्पन्न हुआ कि अवांछित व्यवहार का जवाब देने में सक्षम होने के लिए वास्तविक समय में इस एल्गोरिदम को कैसे चलाया जाए। परिदृश्य के अनुसार, ऑनलाइन मोड में कैमरे से छवियां डिस्क पर नेटवर्क निर्देशिका में फ़ाइलों के रूप में पहले से ही गिर गईं।

जो कुछ भी था वह डेटा से जुड़ना था, छवियों को वांछित प्रारूप में बदलना, मॉडल लागू करना, और व्यवहार के वर्ग से संबंधित होने की संभावना में, ऑनलाइन डैशबोर्ड पर वास्तविक समय की चेतावनी प्रदर्शित करना। और यह पता चला कि यह सब एसएएस ईएसपी जीयूआई में कॉन्फ़िगर किया जा सकता है, कार्यक्रम कोड (!) की एक भी पंक्ति के बिना।

एसएएस इवेंट स्ट्रीम प्रोसेसिंग

एसएएस ईएसपी स्टूडियो ग्राफिकल इंटरफ़ेस में खतरनाक पहचान परियोजना।
ईएसपी ग्राफिकल एडिटर में, हमने निम्नलिखित डेटा प्रवाह परिवर्तनों को जोड़ा है:

इनपुट के रूप में, हमारे पास दो प्रकार के स्रोत हैं: model_source और input_image। Model_source में हम अपने वर्गीकरण मॉडल को प्रकाशित करते हैं। ऐसा करने के लिए, फ़ाइल कनेक्टर को कॉन्फ़िगर करें, जो तीन मापदंडों वाले पाठ फ़ाइल से एक कमांड पढ़ता है: ऑपरेशन का नाम, मॉडल प्रारूप का प्रकार और बाइनरी फ़ाइल का भौतिक पथ। ईएसपी प्रत्येक डेटा स्रोत को स्थिर और स्ट्रीमिंग दोनों की क्षमता से पीछे रखता है, इस प्रकार, किसी भी समय, हम इस नोड पर मॉडल डाउनलोड करने के लिए नई कमांड प्रकाशित कर सकते हैं, जो औद्योगिक संचालन में सुविधाजनक है - हमें एल्गोरिदम के संस्करण को अपडेट करने के लिए प्रोजेक्ट को रोकने की आवश्यकता नहीं है।

Model_source पर प्रकाशन आदेश सेट करना

इनपुट मॉडल फ़ाइल की सामग्री:

I,N,1,action,load I,N,2,type,astore I,N,3,reference,/opt/sas/demo/image_processing/d.astore
दूसरा स्रोत, input_image, कैमरे से चित्र हैं। डेटा प्रकाशित करने के लिए, हम एक मानक एडाप्टर का उपयोग करते हैं - एक प्रोग्राम जो ईएसपी में एक स्रोत से डेटा प्रकाशित करता है। इस मामले में, हमने एक फ़ाइल एडेप्टर का उपयोग किया, लेकिन आप सीधे कैमरे से भी जुड़ सकते हैं, उदाहरण के लिए, यूवीसी एडाप्टर के माध्यम से जो समाधान के साथ आता है।

सामान्य प्रकार के कैमकोर्डर के लिए एक UVC कनेक्टर को कॉन्फ़िगर करना।
छवियाँ उस प्रारूप से भिन्न हो सकती हैं जिसमें मॉडल प्रशिक्षित किया गया था, और यह वर्गीकरण की गुणवत्ता को प्रभावित कर सकता है। इसलिए, input_image के बाद, हम तुरंत resize_image नोड जोड़ते हैं और इसकी सेटिंग में वांछित प्रारूप लिखते हैं। इस मामले में, 100/100 पिक्सल के एक वर्ग को निचोड़ें।

इमेज प्रोसेसिंग सेटअप
मॉडल निष्पादन CNN_score_code में कॉन्फ़िगर किया गया है। इंटरफ़ेस स्वचालित रूप से मॉडल के मेटा-विवरण से आउटपुट विशेषताओं को निकाल देगा - P__label_c0, P__label_c1, P__label_c2 और P__label_c9 - प्रत्येक व्यवहार वर्ग की संभावनाएं। इसके बाद, max_class नोड में, हम एक नए परिकलित फ़ील्ड को परिभाषित करेंगे जो अधिकतम संभावना वाले वर्ग का चयन करेगा।
अब, परियोजना शुरू करने से, हम प्रत्येक इनपुट छवि के लिए वास्तविक समय वर्गीकरण प्राप्त करने में सक्षम होंगे। हमारे इतिहास में, एक बेईमान चालक सड़क से समय-समय पर विचलित होता है। लेकिन उन मामलों को अलग करना महत्वपूर्ण है जब वह लंबे समय तक खतरनाक ड्राइविंग के मामलों से एक सेकंड के लिए विचलित हो गया था। ऐसा करने के लिए, हम 3 नोड्स जोड़ते हैं: अंतिम मिनट (copy_1_min) में घटनाओं को संग्रहीत करना, व्यवहार वर्गों (aggr_for_alert) द्वारा एकत्रीकरण और "खतरनाक ड्राइविंग" (filter_alert) के तथ्यों का एक फिल्टर।

इवेंट संग्रहण सेटिंग कॉन्फ़िगर करना - 1 अंतिम मिनट में।

प्रत्येक व्यवहार वर्ग के लिए ईवेंट काउंटिंग सेट करना।

फ़िल्टरिंग नियम सेट करना।

सूचकांक

यह ध्यान रखना महत्वपूर्ण है कि ईएसपी में प्रत्येक परिवर्तन की एक सेटिंग है - "राज्य"। यह वर्णन करता है कि क्या डेटा परिवर्तन स्ट्रीमिंग है, अर्थात्। इनपुट ईवेंट को संसाधित करते समय, परिणाम तुरंत आरेख के साथ आगे प्रेषित होता है और इस नोड की मेमोरी से हटा दिया जाता है। या हम प्रत्येक घटना को संसाधित करने के परिणाम को स्टोर कर सकते हैं और किसी भी समय उस तक पहुंच की अनुमति देने के लिए उस पर एक इंडेक्स बना सकते हैं। उदाहरण के लिए, एकत्रीकरण विंडो हमेशा राज्य को संग्रहीत करती है, और इनपुट स्ट्रीम के आधार पर लगातार घटना-पुनर्गणना होती है।

लांच

वापस परियोजना के लिए। हमें इसे चलाने की जरूरत है

।
डेटा स्ट्रीम देखने में आसानी के लिए, एक ऑनलाइन रिपोर्ट डिज़ाइनर, एसएएस ईएसपी स्ट्रीम व्यूअर, ईएसपी के साथ आपूर्ति की जाती है। सेटअप मोड में, हम सर्वर पर सभी रनिंग प्रोजेक्ट देखते हैं, और हम उनसे कनेक्ट कर सकते हैं और एक सुविधाजनक विज़ुअलाइज़ेशन चुन सकते हैं।

एसएएस ईएसपी स्ट्रीम व्यूअर में ऑनलाइन डैशबोर्ड

वह सब है। हमें एक वीडियो सिग्नल के लिए वास्तविक समय में प्रतिक्रिया को स्वचालित करने का अवसर मिला। इस मामले में, हम ऑनलाइन मॉनिटरिंग सेट करते हैं, लेकिन एक ही एडेप्टर / कनेक्टर्स का उपयोग करके, हम पता लगाए गए उल्लंघन के प्रत्येक मामले के लिए एक संदेश भेज सकते हैं, या एक बाहरी सिस्टम के लिए एक नियंत्रण कार्रवाई बना सकते हैं।

या अजगर?

तकनीकी रूप से, मामला पूरा हो गया था, लेकिन मंच पर प्रदर्शन के उद्देश्य से, यह पर्याप्त रूप से इंटरैक्टिव नहीं था। यह असुविधाजनक था, और वास्तविक समय में दिखाने के लिए काफी असुरक्षित (!) था, इसलिए फ़ोटो पहले ही ले लिए गए थे और कार पार्किंग में थी।

एसएएस ईएसपी पायथन में बने मॉडलों के स्ट्रीमिंग निष्पादन का समर्थन करता है। पुष्टि के लिए, हम OpenCV पुस्तकालयों का उपयोग करते हुए, छवियों का विश्लेषण अर्थात् छवि में वस्तुओं की खोज को सेट करते हैं।

छवि इनपुट स्ट्रीम पर हार्ड टोपी खोजने के लिए ईएसपी मॉडल
ईएसपी आरेख में, हमारे पास 2 डेटा स्रोत हैं: लैपटॉप के ऑनलाइन कैमरा से फ़्रेम और उस वस्तु की एक तस्वीर जिसे हम खोज रहे हैं। इस मामले में, हम निर्धारित करते हैं कि निर्माण स्थल पर संभावित कार्यकर्ता सुरक्षा नियमों के बारे में भूल गया है या नहीं: क्या इस पर कोई हेलमेट है। Proc_detection नोड में, हम निम्नलिखित पायथन कोड निष्पादित करते हैं:

 def compute_total(Image,image_template): "Output: score_point" import sys import cv2 import numpy as np import os import base64 import io from imageio import imread MIN_MATCH_COUNT = 10 #       DIST_COEFF = 0.55 img_big = imread(io.BytesIO(base64.b64decode(image_template))) sift = cv2.xfeatures2d.SIFT_create() # Initiate SIFT detector matcher = cv2.BFMatcher() # BFMatcher with default params kp_big, des_big = sift.detectAndCompute(img_big,None) img_tpl = imread(io.BytesIO(base64.b64decode(Image))) kp_tpl, des_tpl = sift.detectAndCompute(img_tpl,None) matches = matcher.knnMatch(des_tpl,des_big,k=2) good = [] for m,n in matches: if m.distance < n.distance * DIST_COEFF: good.append(m) score_point = len(good) return score_point

एसएएस विया बिजनेस ब्रेकफास्ट फोरम ( वेबकैम , मैक्सएक्सटीएस स्टैंड का परीक्षण कर रहा है) पर वेब कैमरा से छवि में एक हेलमेट की उपस्थिति की पहचान)

मशीन सीखने

यदि हम स्ट्रीम प्रोसेसिंग के आगे विकास के बारे में बात करते हैं, तो शायद स्ट्रीम पर विश्लेषणात्मक मॉडल के प्रशिक्षण पर जोर दिया जाएगा। यानी पिछले उदाहरणों के विपरीत, मॉडल न केवल निष्पादित करेंगे, बल्कि एसएएस ईएसपी के अंदर भी प्रशिक्षण देंगे। इसके लिए एक अतिरिक्त डेटा स्ट्रीम की आवश्यकता होगी, जिस पर इवेंट द्वारा चयनित एल्गोरिदम का ट्रेन संचालन करना है (उदाहरण के लिए, शुरुआत के लिए, सरल के-साधन क्लस्टरिंग)। तब बोर्ड पर ईएसपी वाली कार में नए सेंसर का उपयोग करके स्थिति का विश्लेषण करने का अवसर होगा जो अभी-अभी जुड़े हुए हैं। यह उद्योग 4.0 की अवधारणा में नए उपकरणों को जल्दी से चालू और स्वचालित करना संभव बना देगा।

कृपया टिप्पणी में लिखें कि स्ट्रीमिंग एनालिटिक्स में किन कार्यों का सामना करना पड़ा है, और निश्चित रूप से, मुझे एसएएस इवेंट स्ट्रीम प्रोसेसिंग के बारे में सवालों के जवाब देने में खुशी होगी।

स्ट्रीम एनालिटिक्स: एसएएस ईएसपी के साथ त्वरित शुरुआत