विकास में निकटता सेंसर का उपयोग करते हुए व्यक्तिगत अनुभव

सभी को शुभ दिन! मेरा नाम मैक्सिम है, मैं हैबिलट में एक प्रमुख डेवलपर हूं।

प्रत्येक प्रोग्रामर के जीवन में, एक पल आता है जब आप साझा करना चाहते हैं कि आपके जीवन का 2/3 खर्च क्या है - काम और परियोजनाओं का विवरण :)

ऐतिहासिक रूप से, मेरी गतिविधि का मुख्य क्षेत्र संपर्क रहित सेंसर पर आधारित प्रणालियों का विकास था।

लगभग 7 वर्षों के लिए, कई विकल्प आज़माए गए हैं - Microsoft Kinect (XBOX 360 के लिए दोनों संस्करण और Windows के लिए Kinect One), Intel RealSense (बाजार में उपलब्ध पहले संस्करण के साथ शुरू - F200, SR300 को जारी रखते हुए और वर्तमान में, अंतिम एक जारी किया गया - D435), ऑर्बेक (एस्ट्रा और पर्स), लीप मोशन (जो मैंने यहां कस्टम जेस्चर प्रोसेसिंग के बारे में भी लिखा था)। स्वाभाविक रूप से, यह सामान्य वेबकैम के बिना नहीं कर सकता था - छवि विश्लेषण, ओपनसीवी, आदि।

जो लोग रुचि रखते हैं - मैं एक बिल्ली के लिए पूछता हूं।

बस मामले में, संपर्क रहित सेंसर के इस विषय पर एक संक्षिप्त शैक्षिक कार्यक्रम:

ऐसी स्थिति की कल्पना करें जिसे आपको किसी व्यक्ति विशेष के कार्यों को प्रोग्राम करने की आवश्यकता है।

बेशक, आप एक नियमित वेब कैमरा का उपयोग कर सकते हैं, जिसे किसी भी स्टोर पर खरीदा जा सकता है। लेकिन इस उपयोग के मामले में, आपको छवियों का विश्लेषण करने की आवश्यकता है, जो संसाधन-गहन और, स्पष्ट रूप से, महत्वपूर्ण (उसी OpenCV में मेमोरी आवंटन समस्या अभी भी प्रासंगिक है)।

इसलिए, लोगों को कैमरे की छवि के हिस्से के रूप में नहीं, बल्कि सक्रिय रेंजफाइंडर का उपयोग करके विशेष सेंसर द्वारा प्राप्त "कंकाल" के रूप में पहचानना अधिक इष्टतम है। यह आपको एक व्यक्ति (या कई लोगों) को ट्रैक करने की अनुमति देता है, और "कंकाल" के व्यक्तिगत भागों के साथ काम करता है।

Microsoft Kinect SDK शब्दावली में, इन व्यक्तिगत भागों को "जोड़ों" कहा जाता है। डिफ़ॉल्ट रूप से एक सेंसर के मामले में, उनकी स्थिति हर 30ms में अपडेट की जाती है।

प्रत्येक संयुक्त में शामिल हैं:

• अंतरिक्ष में संबंधित कंकाल बिंदु की स्थिति पर डेटा (X-, Y- और Z- निर्देशांक) सेंसर के ऑप्टिकल अक्ष के सापेक्ष
• बिंदु की दृश्यता की स्थिति (निर्धारित, निर्धारित नहीं, सेंसर द्वारा गणना की गई स्थिति),
• पिछले बिंदु के सापेक्ष रोटेशन का चतुर्भुज

एक उदाहरण के रूप में लियोनार्डो दा विंची के विट्रुवियन मैन का उपयोग करके किनेक्ट वी 2 द्वारा संसाधित किए गए जोड़ों को दिखाता है।


इस प्रकार, एक गैर-संपर्क सेंसर के साथ काम करने पर, डेवलपर को किसी व्यक्ति या लोगों के समूह के कार्यों का विश्लेषण करने का अवसर मिलता है (उदाहरण के लिए, किनेक्ट के साथ एक फ्रेम में 6 लोगों को एक साथ ट्रैक करना संभव है)। और प्राप्त डेटा सरणी के साथ क्या करना है यह विशिष्ट एप्लिकेशन पर निर्भर करता है।

ऐसे सेंसर के लिए एप्लिकेशन अंतहीन हैं। मेरे काम के मुख्य क्षेत्र विज्ञापन और चिकित्सा हैं।

विज्ञापन दिशा पर विचार करें। अब, इंटरैक्टिव विज्ञापन स्टैंड के संचालन के लिए, कई बुनियादी मॉड्यूल की आवश्यकता है, अर्थात्:

1. विज्ञापन सामग्री खुद
2. किसी विशेष विज्ञापन के प्रदर्शन के लिए आगंतुकों का ध्यान आकर्षित करने की डिग्री पर आंकड़ों का संग्रह, जो कि विज्ञापनदाता के लिए दिलचस्प है
3. एक विज्ञापन स्टैंड के दूरस्थ विन्यास की संभावना
4. आकर्षक प्रभाव जो विज्ञापनों और मुद्रित बैनर के साथ पारंपरिक टीवी से एक इंटरैक्टिव स्टैंड को अलग करता है

यदि विज्ञापन सामग्री के साथ सब कुछ स्वयं स्पष्ट है, तो आंकड़े इकट्ठा करने के लिए सेंसर का उपयोग किया जाता है। उदाहरण के लिए, किसी भी विज्ञापनदाता को इस बात में दिलचस्पी है कि कितने लोगों ने उसके विज्ञापन पर ध्यान दिया? पुरुष, महिला या बच्चे? किस समय वे सबसे अधिक बार रोकते हैं? वे विज्ञापनों को देखने में कितना समय लेते हैं, और न केवल स्टैंड के बगल में खड़े होकर फोन खोदते हैं? एक सेंसर का उपयोग करके, इसे ट्रैक किया जा सकता है और विज्ञापनदाता के लिए सुविधाजनक रूप में बनाई गई एक रिपोर्ट।

दूरस्थ कॉन्फ़िगरेशन के लिए, सबसे सरल और स्पष्ट मॉडल का उपयोग किया जाता है - Google कैलेंडर। प्रत्येक कैलेंडर एक विशिष्ट स्टैंड से जुड़ा होता है, और, सेंट पीटर्सबर्ग में होने के नाते, आप दुनिया में कहीं भी स्टैंड का प्रबंधन कर सकते हैं।

और आकर्षित करने वाला प्रभाव बहुत ही कार्यक्षमता वाला होता है, जिसके कारण स्टैंड को इंटरैक्टिव कहा जाता है। आप प्रायोजक के लोगो के साथ एक व्यक्ति-संचालित गेम बना सकते हैं, एक स्वागत योग्य ध्वनि का एहसास कर सकते हैं जब कोई व्यक्ति सेंसर के क्षेत्र में दिखाई देता है, तो विज्ञापनदाता के स्टोर में एक डिस्काउंट कूपन के साथ एक क्यूआर कोड बनाएं, उदाहरण के लिए, एक व्यक्ति एक मिनट के लिए खड़ा था और एक विज्ञापन देखा। विकल्प मुख्य रूप से फंतासी द्वारा सीमित होते हैं, न कि तकनीक द्वारा।

दवा में सेंसर का उपयोग क्यों करें? इस प्रश्न का उत्तर सरल और सरल है - सटीकता बनाए रखते हुए परीक्षा और पुनर्वास की लागत कम हो जाती है।

हड़ताली उदाहरणों में से एक स्थैतिकता के क्षेत्र में विकास है - चलने पर गुरुत्वाकर्षण के केंद्र के विचलन का विज्ञान, जो आसन, रीढ़ और उचित मांसपेशी समारोह को प्रभावित करता है। आप विशेष सिमुलेटर के लिए विशेष केंद्रों पर जा सकते हैं, जो एक बहुत महंगी प्रक्रिया है, जो, हालांकि, हमेशा प्रदान नहीं की जाती है। और आप एक सेंसर और सॉफ्टवेयर होम खरीद सकते हैं, एक टीवी से कनेक्ट कर सकते हैं और नैदानिक ​​परीक्षण कर सकते हैं, जिसके परिणाम स्वचालित रूप से आपके डॉक्टर को भेजे जाते हैं।

एक अन्य उदाहरण घर का पुनर्वास है। यह किसी के लिए एक रहस्य नहीं है कि पुनर्वास में दो मुख्य समस्याएं हैं: एक डॉक्टर को घर पर महंगी कॉल (सप्ताह में कई बार क्या करने की जरूरत है) और एक लंबे समय तक इसी तरह के व्यायाम करने के लिए एक पुनर्वास व्यक्ति की अनिच्छा। इसके लिए, सिस्टम के कई मूल पोस्ट विकसित किए गए, अर्थात्:

1. कार्यान्वयन की दूरस्थ निगरानी के लिए एक डॉक्टर द्वारा पुनर्वास कार्यक्रमों का दूरस्थ संकलन। उदाहरण के लिए, सेंट पीटर्सबर्ग का एक डॉक्टर व्लादिवोस्तोक के एक मरीज को दिए गए अभ्यास के पाठ्यक्रम की दूरस्थ रूप से निगरानी कर सकता है, और यदि आवश्यक हो, तो व्यायाम को बदलें, कक्षाओं की जटिलता और तीव्रता को बढ़ाएं या घटाएं, वास्तविक समय में आंकड़ों का अध्ययन करें, आदि।
2. Gamified व्यायाम प्रक्रिया। यदि आधुनिक सिमुलेटर मुख्य रूप से क्षतिग्रस्त मांसपेशियों और जोड़ों को विकसित करने के लिए बुनियादी आंदोलनों को करने पर ध्यान केंद्रित करते हैं, तो इंटरैक्टिव पुनर्वास प्रणाली आपको व्यायाम, शाब्दिक, सरलता से प्रदर्शन करने की अनुमति देती है। उदाहरण के लिए, प्रसिद्ध टेट्रिस की मदद से, जो बटन दबाने के बजाय, डॉक्टर द्वारा निर्धारित आंदोलनों द्वारा नियंत्रित किया जाता है (बाएं हाथ को ऊपर उठाते हुए, दाहिने पैर को आगे बढ़ाते हुए, सिर को आगे और इतने पर झुकाना)।
3. व्यायाम प्रदर्शन मानदंडों का कार्यान्वयन। जब रोगी के साथ मिलकर काम करते हैं, तो डॉक्टर युक्तियों और स्पर्श की मदद से व्यायाम की निगरानी करता है (उदाहरण के लिए, आप कोहनी पर अपनी बांह नहीं मोड़ सकते हैं जब आप अपने हाथ को दूर ले जाते हैं - यह कंधे के जोड़ के कामकाज को प्रभावित करता है)। संवादात्मक प्रणाली जोड़ों के बीच के सापेक्ष कोण का अनुमान लगाती है और स्वीकार्य सीमा से अधिक होने की स्थिति में, उपयोगकर्ता को चेतावनी देती है और अभ्यास के गलत निष्पादन के लिए जिम्मेदार नहीं है।

इस तरह की प्रणाली आपको दोनों समय (डॉक्टर और रोगी दोनों - एक दूसरे की यात्रा करने के लिए) को कम करने और प्रगति के लिए आवश्यक अभ्यास की सटीकता बनाए रखने की अनुमति देती है।

.NET तकनीक स्टैक का उपयोग करके परियोजनाओं के कार्यान्वयन के लिए। मैं विंडोज-ओनली :) काम करता हूं। हां, इस वजह से, मुझे कई बार देशी एसडीके के लिए रैपर लिखना पड़ा (एक ज्वलंत उदाहरण के रूप में, मैंने इंटेल रियलसेंस एसडीके के लिए एडेप्टर बनाया, क्योंकि उस समय यह केवल अप्रबंधित कोड था)। इसमें काफी समय, नसों और भूरे बालों की लागत थी, लेकिन लाइब्रेरी को विंडोज प्लेटफॉर्म पर विकसित विभिन्न परियोजनाओं से जोड़ने की अनुमति थी।

यह ध्यान देने योग्य है कि विकास के लिए मुख्य सेंसर (Kinect और RealSense) को x64 रिज़ॉल्यूशन की आवश्यकता होती है।

क्लाइंट अनुप्रयोगों के काम को सरल बनाने के लिए, एक अलग सेवा को लागू किया गया था, एक सेंसर के साथ काम करना, डेटा को हमारे लिए सुविधाजनक प्रारूप में पैक करना और टीसीपी प्रोटोकॉल का उपयोग करके ग्राहकों को डेटा भेजना। वैसे, इसने हमें एक प्रणाली बनाने की अनुमति दी जो कई सेंसर के साथ काम करती है, जिससे मान्यता सटीकता में काफी सुधार हो सकता है।


सरलीकृत आरेख किसी वस्तु को ट्रैक करने के लिए कई सेंसर का उपयोग करने के लाभों को दर्शाता है। नीले बिंदुओं (जोड़ों) को पहले और दूसरे सेंसर, हरे - दूसरे द्वारा केवल निर्धारित किया जाता है। स्वाभाविक रूप से, विकसित समाधान "एन-सेंसर मॉडल" के तहत लागू किया गया है।


ऊपर दिए गए आरेख में कई सेंसर से डेटा संसाधित करने की एक विस्तृत प्रक्रिया प्रस्तुत की गई है।

लगभग किसी भी विकास के साथ, एक कलाकार के लिए मुख्य मानदंडों में से एक ब्याज है। बाद में, कई वर्षों तक मैंने ASP.NET और PHP में एक ही प्रकार के वेब एप्लिकेशन को लागू किया, मुझे कुछ नया और अधिक चाहिए था, आइए हम कहते हैं, स्मार्ट। वेब विकास (दुर्लभ अपवादों के साथ) में, सब कुछ पहले से ही आविष्कार किया गया है। अच्छी तरह से साइट, अच्छी तरह से सेवा, अच्छी तरह से डेटाबेस। सेंसर के साथ काम करने के मामले में, दिलचस्प और विवादास्पद कार्य हमेशा उठते हैं, उदाहरण के लिए, "मैं टीसीपी के माध्यम से सेंसर से एचडी-वीडियो कैसे प्रसारित करूंगा ताकि यह सिस्टम लटका न हो?" (जीवन से एक उदाहरण, हालांकि यह बहुत समय पहले किया गया था)। और यह अनुमान लगाना कठिन है कि सिस्टम को सुधारने और विकसित करने के लिए निम्नलिखित की आवश्यकता होगी। यह स्पष्ट है कि एक मुख्य विकास स्प्रिंट है जहां वैश्विक और पूर्व नियोजित सुधार वर्णित हैं। लेकिन इस तरह के स्थानीय उपप्रकार एक प्रोग्रामर के शिल्प में सबसे दिलचस्प हैं।

ऐसी नौकरी निश्चित रूप से नियमित नहीं है। अगर किसी को अधिक विस्तार से सीखने में दिलचस्पी है, या यदि कोई यह जानना चाहता है कि इस क्षेत्र में कहां से शुरू करना है, तो मैं संचार के लिए खुला हूं। किसी भी प्रश्न का उत्तर देने के लिए तैयार :) और बल आपके साथ हो सकता है!