मशीन (रेडियो) की दृष्टि दीवारों के माध्यम से देखती है

बाईं ओर, दो लोग हाथ हिलाते हैं, उनमें से एक कैमरे से दीवार के पीछे है। दाईं ओर, अंधेरे में एक व्यक्ति उस व्यक्ति को एक वस्तु फेंकता है जो बुला रहा है। नीचे उत्पन्न कंकाल मॉडल और कार्यों की भविष्यवाणी है।

CSAIL (कंप्यूटर विज्ञान और आर्टिफिशियल इंटेलिजेंस लैब) टीम की रेडियो दृष्टि पहले से ही हैबे ( एक बार और दो बार ) पर लिखी गई थी, आज कुछ नए विवरण हैं।

एल्गोरिथ्म दृश्य तरंगों के बजाय रेडियो तरंगों का उपयोग करता है यह निर्धारित करने के लिए कि लोग कैसे दिखते हैं बिना क्या कर रहे हैं।

मशीन दृष्टि का एक प्रभावशाली ट्रैक रिकॉर्ड है। इसमें लोगों, चेहरों और वस्तुओं को पहचानने की अलौकिक क्षमता है। यह विभिन्न प्रकार के कार्यों को भी पहचान सकता है, हालांकि मनुष्यों के रूप में भी नहीं।

लेकिन इसका प्रदर्शन सीमित है। मशीन की दृष्टि विशेष रूप से कठिन होती है जब लोग, चेहरे या वस्तुएं आंशिक रूप से बंद हो जाती हैं। और जब प्रकाश स्तर 0 तक गिर जाता है, तो वे, लोगों की तरह, व्यावहारिक रूप से अंधे होते हैं।

लेकिन विद्युत चुम्बकीय स्पेक्ट्रम का एक और हिस्सा है जो इतना सीमित नहीं है। रेडियो तरंगें हमारी दुनिया को भर देती हैं, चाहे वह रात हो या दिन। वे आसानी से दीवारों से गुजरते हैं, मानव शरीर द्वारा प्रेषित और प्रतिबिंबित होते हैं। वास्तव में, शोधकर्ताओं ने बंद दरवाजों के पीछे देखने के लिए वाई-फाई रेडियो संकेतों का उपयोग करने के विभिन्न तरीके विकसित किए हैं।

लेकिन इन रेडियो-दृष्टि प्रणालियों में कुछ कमियां हैं। उनका संकल्प कम है, छवियां शोर हैं और विचलित प्रतिबिंबों से भरी हुई हैं, जो समझना मुश्किल है कि क्या हो रहा है।

इस अर्थ में, दृश्य प्रकाश में रेडियो चित्रों और छवियों के अपने अतिरिक्त फायदे और नुकसान हैं। और इससे दूसरे की कमियों को दूर करने के लिए एक की ताकत का उपयोग करने की संभावना बढ़ जाती है।

तियानहोंग ली और उनके सहयोगियों से MIT में मिलें, जिन्होंने दृश्य प्रकाश में छवियों का उपयोग करके इसे सिखाकर लोगों के कार्यों को पहचानने के लिए रेडियो प्रणाली को सिखाने का एक तरीका खोज लिया है। नई रेडियो-दृष्टि प्रणाली आपको यह देखने की अनुमति देती है कि दृश्य प्रकाश में दृश्य असंभव होने पर लोग कई स्थितियों में क्या कर रहे हैं। "हम एक तंत्रिका नेटवर्क मॉडल की शुरुआत कर रहे हैं जो दीवारों और पश्चकपालों के साथ-साथ खराब रोशनी की स्थिति में मानव कार्यों का पता लगा सकता है ," ली एंड कंपनी ने कहा।



रेडियो आवृत्ति हीटमैप और आरजीबी छवि समानांतर में दर्ज की गई।

टीम एक मुश्किल चाल का उपयोग करती है। मुख्य विचार दृश्य प्रकाश और रेडियो तरंगों का उपयोग करके उसी दृश्य की वीडियो छवियों को रिकॉर्ड करना है। मशीन विजन सिस्टम दृश्य प्रकाश में छवियों से मानव कार्यों को पहचानने में पहले से ही सक्षम हैं। इसलिए, अगला कदम एक ही दृश्य के रेडियो चित्रों के साथ इन छवियों को सहसंबंधित करना है।



RF- एक्शन आर्किटेक्चर। RF-Action वायरलेस सिग्नल द्वारा मानव गतिविधियों की पहचान करता है। वायरलेस सिग्नल (पीले बॉक्स) की कच्ची धारा से प्रत्येक व्यक्ति के लिए "3 डी कंकाल" को पुनर्प्राप्त करता है। फिर, "कंकाल" (हरा क्षेत्र) के निकाले गए दृश्यों से कार्यों का पता लगाया जाता है और उन्हें पहचाना जाता है। एक्शन डिटेक्शन फ्रेमवर्क दृश्य डेटा से उत्पन्न तीन-आयामी कंकालों को इनपुट (एक नीला आयत) के रूप में भी स्वीकार कर सकता है, जो आपको रेडियो आवृत्तियों द्वारा उत्पन्न कंकालों पर प्रशिक्षित करने की अनुमति देता है, साथ ही मान्यता प्राप्त कार्यों के साथ मौजूदा डेटाबेस पर भी।

हालांकि, कठिनाई यह सुनिश्चित करने में निहित है कि सीखने की प्रक्रिया मानव आंदोलन पर केंद्रित है, न कि अन्य चीजों पर, जैसे कि पृष्ठभूमि। इसलिए, ली और टीम एक मध्यवर्ती चरण पेश करते हैं जिसमें मशीन 3 डी मॉडल के आंकड़े उत्पन्न करती है जो लोगों के कार्यों को पुन: पेश करती है।

"एक कंकाल के आधार पर एक मध्यवर्ती प्रतिनिधित्व में डेटा का अनुवाद करके, हमारा मॉडल दृश्य और रेडियो आवृत्ति डेटासेट दोनों से सीख सकता है, और दोनों कार्यों को एक दूसरे की मदद करने की अनुमति देता है ," ली और टीम ने कहा।

इस प्रकार, सिस्टम दृश्य प्रकाश में क्रियाओं को पहचानना सीखता है, और फिर रेडियो तरंगों का उपयोग करके अंधेरे में या दीवारों के पीछे होने वाली समान क्रियाओं को पहचानता है। "हम दिखाते हैं कि हमारा मॉडल दृश्यमान परिदृश्यों में दृष्टि के आधार पर दृष्टि पहचान प्रणालियों की तुलना में सटीकता प्राप्त करता है, और जब लोग दिखाई नहीं देते हैं तो सही ढंग से काम करना जारी रखते हैं," शोधकर्ताओं का कहना है।

यह एक दिलचस्प काम है जिसमें महत्वपूर्ण क्षमता है। स्पष्ट अनुप्रयोग परिदृश्यों में है जब दृश्य प्रकाश में छवियां असंभव हैं - कम रोशनी की स्थिति में और बंद दरवाजों के पीछे।

लेकिन अन्य परिस्थितियां हैं। दृश्य चित्रों के साथ समस्याओं में से एक यह है कि लोग पहचानने योग्य हैं, जो गोपनीयता के मुद्दों का कारण बनता है।

लेकिन रेडियो प्रणाली में चेहरों को पहचानने की क्षमता नहीं है। चेहरे की पहचान के बिना कार्यों की पहचान गोपनीयता के बारे में समान चिंताओं को नहीं बढ़ाती है। "यह लोगों के घरों में प्रौद्योगिकी ला सकता है और इसे स्मार्ट होम सिस्टम में एकीकृत कर सकता है ," ली एंड कंपनी का कहना है। इसका उपयोग, उदाहरण के लिए, एक बुजुर्ग व्यक्ति के घर की निगरानी और गिरावट की प्रासंगिक सेवाओं को सूचित करने के लिए किया जा सकता है। और यह गोपनीयता के लिए बहुत जोखिम के बिना होता है।

यह आधुनिक दृष्टि-आधारित प्रणालियों की क्षमताओं से परे है।

परिणाम

विभिन्न परिदृश्यों में काम का परिणाम है। दर्शनीय दृश्य:





दृश्य और खराब प्रकाश व्यवस्था के आंशिक या पूर्ण ओवरलैप। कंकाल उत्पन्न 3 डी मॉडल के दो आयामी अनुमानों के रूप में दिखाए गए हैं:

• ArXiv.org पर लेख: अदृश्य दृश्य बनाना: दीवारों और निष्कर्षों के माध्यम से कार्रवाई की पहचान
  

---

और अधिक उपयोगी लेख पढ़ें:

• मैकिन्से: ऑटोमोटिव में रीथिंकिंग सॉफ्टवेयर और इलेक्ट्रॉनिक्स आर्किटेक्चर
• एक और ओएस युद्ध पहले से ही कारों के हुड के नीचे है
• कार में प्रोग्राम कोड
• एक आधुनिक कार में, कोड की अधिक लाइनें हैं ...