🤰 👩🏿‍🤝‍👩🏼 🤲🏻 पूरक वास्तविकता: समीक्षा सामग्री ⌚️ 🕋 🧙

इगोर Litvinenko, वरिष्ठ मोबाइल डेवलपर द्वारा पोस्ट किया गया।

सभी ने शायद वीआर हेलमेट के बारे में सुना है जो आभासी दुनिया में होने का प्रभाव पैदा करते हैं। हालाँकि, आज मैं आभासी नहीं, बल्कि संवर्धित वास्तविकता के बारे में बात करना चाहूंगा। भेद करने के लिए ये अवधारणाएँ महत्वपूर्ण हैं। आभासी वास्तविकता के हेलमेट में, पूरी छवि उत्पन्न होती है - ऐसी वास्तविकता पूरी तरह से कृत्रिम है। आभासी वास्तविकता के विपरीत संवर्धित वास्तविकता, पूरी तरह से कृत्रिम वास्तविकता का निर्माण नहीं करती है, लेकिन आभासी वस्तुओं और डेटा के लिए हमारी वास्तविकता के वीडियो स्ट्रीम के अतिरिक्त है। इस प्रकार, आभासी और वास्तविक दुनिया का संयोजन होता है।

कोर ऑगमेंटेड रियलिटी टेक्नोलॉजीज

संवर्धित वास्तविकता कैसे बनाई जाती है? किसी विशिष्ट वास्तविक वस्तु के घटित होने के लिए, वीडियो स्ट्रीम में इस वास्तविक वस्तु का पता लगाना आवश्यक है। यह सबसे महत्वपूर्ण है - किसी वस्तु की खोज के बाद, कुछ को समाप्त करना और किसी तरह इसे पूरक करना अब मुश्किल नहीं है। वांछित वस्तुओं का पता लगाने के विभिन्न तरीके हैं - मुख्य रूप से इसके लिए, संवर्धित वास्तविकता मार्करों का उपयोग किया जाता है। नीचे दिए गए विकास क्रम में पूरक वस्तुओं का पता लगाने के लिए मुख्य तरीके सूचीबद्ध हैं:

सबसे सरल मार्कर या छवि।
मार्करलेस - मार्कर रहित संवर्धित वास्तविकता।
सरल 3 डी मार्कर।
जटिल वस्तुओं (सिलेंडर, घन, बॉक्स) के प्रतिपादन के लिए मार्करों का एक संयोजन।
फ़्रेम मार्कर।
स्थान के आधार पर।
वास्तविक संवर्धित वास्तविकता।

चित्र मार्कर

संवर्धित वास्तविकता का सबसे सरल मार्कर आसानी से मोटे काले फ्रेम द्वारा पहचाना जा सकता है। वीडियो स्ट्रीम में ऐसी किसी वस्तु का पता लगाना बहुत आसान है:

आवश्यकताएँ:
- एक काला फ्रेम जिसकी चौड़ाई कम से कम 10% है।
- केवल काले और सफेद।
- मुड़ने के लिए अपरिवर्तनीय - हम किसी भी समय रोटेशन के सटीक कोण को इंगित कर सकते हैं।
- हमेशा चौकोर।
यहां एल्गोरिदम सबसे सरल हैं: हम इन थ्रेसहोल्ड - प्रदर्शन को द्वैध कर, छवि के किनारों (किनारे का पता लगाने), वर्ग और बीच में सफेद वर्ग को निर्धारित कर सकते हैं। इस तरह से हम अंदर की सामग्री को प्राप्त कर सकते हैं, उसे काट सकते हैं और उसके साथ काम कर सकते हैं जैसे चित्र के साथ - यह पूरे फ्रेम को स्कैन करने की तुलना में बहुत आसान है।
- कोने का पता लगाना।
- बूँद का पता लगाना।
- बढ़त का पता लगाना।
- थ्रेशोल्डिंग।
लाभ:
- सरलतम डिटेक्शन एल्गोरिथ्म एक खुली और बंद लाइब्रेरी है जो मार्कर का पता लगा सकती है।
- सबसे स्थिर - मार्कर हमेशा बहुत सटीक रूप से पता लगाया जाता है और व्यावहारिक रूप से कोई मॉडल घबराना प्रभाव नहीं होता है।

markerless

नाम के बावजूद, मार्कर रहित दृष्टिकोण के साथ, मार्कर, वास्तव में, अभी भी है। यह सिर्फ यहाँ है कि यह एक मार्कर की तरह नहीं दिखता है, लेकिन एक तस्वीर की तरह।

आवश्यकताएँ:
- बड़ी संख्या में छोटे हिस्से।
- अधिक रंग, बेहतर है।
- यह मुड़ने के लिए अपरिवर्तनीय है।
- आदर्श अनुपात 1: 1 है, अर्थात, वर्ग के करीब, बेहतर। 1: 2 या अधिक के अनुपात के साथ, मार्कर को बहुत खराब तरीके से पहचाना जाता है
एल्गोरिदम। इस तरह के मार्करों का पता लगाने के लिए विशेषता बिंदुओं का उपयोग किया जाता है: मान लीजिए कि यह वह बिंदु है जहां ग्रेडिएंट बदलता है। यही है, यह वह बिंदु है जहां एक स्पष्ट सीमा दिखाई देती है। ज्यामितीय बिंदुओं को खोजने के लिए एक एल्गोरिथ्म का भी उपयोग किया जा सकता है: चित्र में कुछ स्थानों पर सटीक मार्कर हैं जो कोनों का निर्माण करते हैं - उदाहरण के लिए, एक क्रॉस ज्यामितीय बिंदु हो सकता है।
- Detect interest points.
- Fiducial markers/
- Edge detection — .
- Simultaneous localization and mapping (SLAM) — .
:
- : — . , — . , , — , .

यह तकनीक हमें तीन आयामी वस्तुओं के सरल आकार को ध्यान में रखने की अनुमति देती है: एक घन, एक सिलेंडर, आदि। यहां हम एक कॉन्फ़िगरेशन बना सकते हैं जो यह समझने में मदद करता है कि हमारे सामने किस तरह की वस्तु है - उदाहरण के लिए, रंगों के एक निश्चित संयोजन के साथ एक निश्चित आकार की वस्तु एक मार्कर (उदाहरण के लिए, हम सेवा कर सकते हैं) एक आवेदन किया है जो पैकेजिंग और लेबल द्वारा दवा को परिभाषित करता है)। हमने एक एप्लिकेशन भी बनाया जो शराब ब्रांडों को पहचानता है - पुस्तकालय विभिन्न कोणों से लेबल पा सकता है, जो गैर-रैखिक मार्कर परिवर्तन के कारण मार्कर या सरल तकनीक में काम नहीं करता है।

फ़्रेम मार्कर

मान लीजिए कि आप एक सम्मेलन कर रहे हैं। आपके पास एक लोगो है जो आप लोगों को दिखाने के लिए दीवारों पर लटकाते हैं जहां जाना है। केवल एक लोगो है, इसलिए सभी चित्र समान हैं; ऐसा करने के लिए, आपको प्रत्येक चित्र को विशिष्ट रूप से पहचानने की आवश्यकता है। यह कैसे करना है? फ़्रेम मार्कर का उपयोग करना। फ़्रेम मार्कर का उपयोग करते समय, छवि आईडी फ्रेम में एन्क्रिप्ट की जाती है:

आवश्यकताएँ:
- एकीकृत फ्रेम।
- यह मुड़ने के लिए अपरिवर्तनीय है।
- हमेशा चौकोर।
- आंतरिक छवि फ्रेम के विपरीत होनी चाहिए।
- छोटे आकार (3 - 10 सेमी)।
एल्गोरिदम:
- फिडुकल मार्कर।
लाभ:
- विशिष्ट रूप से समान मार्कर की पहचान करने की क्षमता।

स्थान-आधारित संवर्धित वास्तविकता

यदि आप शहर के चारों ओर चलते हैं और उन इमारतों के बारे में जानकारी प्राप्त करते हैं जो आप देखते हैं, तो सबसे अधिक संभावना है, वास्तविकता का जोड़ स्थान का उपयोग करके होता है।

इस मामले में, कोई छवि पहचान कार्य नहीं है। यह तकनीक मोबाइल डिवाइस में मौजूद जीपीएस रिसीवर, कंपास और एक्सेलेरोमीटर के उपयोग पर आधारित है। उनके लिए धन्यवाद, हम जानते हैं कि हम किस दिशा में देख रहे हैं। इस प्रकार, वास्तविकता को पूरक करने के लिए, आपको बस मोबाइल डिवाइस के सेंसर की रीडिंग को सही ढंग से प्रतिक्रिया देने की आवश्यकता है। यह कार्य इतना मुश्किल नहीं है - पर्याप्त पुस्तकालय हैं जो इसके साथ अच्छी तरह से सामना करते हैं।

वास्तविक संवर्धित वास्तविकता

यहां कोई मार्कर नहीं हैं। यहाँ, चलते समय, हम किसी भी ऑब्जेक्ट के 3D आकार और विशेषताओं को निर्धारित करते हैं जो कैमरे के लेंस में आते हैं। हमें 2D इमेज को 3D में बदलने के लिए ऑब्जेक्ट की गहराई को जानना होगा। ऐसा करने के लिए, आप उपयोग कर सकते हैं, उदाहरण के लिए, पहले से ही वर्णित एसएलएएम एल्गोरिथ्म, जो आसपास की वस्तुओं पर विशेषता बिंदुओं की खोज करता है। अभी तक, मोबाइल उपकरणों पर, यह सब बहुत धीमा है। अब इस संवर्धित वास्तविकता की तकनीक सोनी को PlayStation के साथ सक्रिय रूप से लागू कर रही है।

Keyshare - keyshare.org

और अब मैं आपको बताता हूं कि कैसे हमने डेटाआर्ट में हमारे संवर्धित वास्तविकता इंजन को लिखा और हमने ऐसा क्यों किया।

एक स्विस स्टार्टअप ने संवर्धित वास्तविकता प्रौद्योगिकी के उपयोग के आधार पर बिक्री बढ़ाने के लिए एक नई प्रणाली का प्रस्ताव करने का फैसला किया, और हमने इसके लिए इस प्रणाली को विकसित किया। यह इसी तरह काम करता है।

हमारे पास एक प्रमुख छवि के रूप में एक उन्नत संवर्धित वास्तविकता मार्कर है जिसे उत्पाद के विवरण के बगल में एक पत्रिका में उदाहरण के लिए रखा जा सकता है। इस कुंजी के अंदर विभिन्न आकारों के सफेद डॉट्स आपको विशिष्ट रूप से सामग्री की पहचान करने की अनुमति देते हैं। एक सर्वर है - यह कुंजी से पढ़ा गया कोड लेता है और उपयोगकर्ता को उत्पाद, उसके 3 डी मॉडल आदि के बारे में विभिन्न प्रकार के डेटा देता है।

इस तरह की कुंजी विकसित करने के लिए, हमने सभी सबसे लोकप्रिय पुस्तकालयों की कोशिश की, लेकिन एक ऐसा मार्कर नहीं मिला जो किसी भी संयोजन को फिट करे। जब हम मार्कर संवर्धित वास्तविकता का उपयोग करते हैं, तो यह प्रमुख बिंदुओं पर बैठता है। मार्कर काला और सफेद है, और प्रमुख बिंदु बदलते स्थानों में केंद्रित हैं। अंत में, हमने खरोंच से सब कुछ लिखने का फैसला किया।

हमने MSER सर्च एल्गोरिथ्म का उपयोग किया, जो कि बस एक गुंजाइश है। आखिरकार, हम जानते हैं कि निश्चित रूप से एक काली कुंजी है और इस कुंजी के अंदर एक सफेद क्रॉस है। इसलिए, हम पहले एक बड़ा काला क्षेत्र पाते हैं, और इस क्षेत्र के अंदर हम एक सफेद क्षेत्र पाते हैं। फिर हम तस्वीर को काटते हैं और पहलू अनुपात को देखते हैं - यह 2: 1 होना चाहिए। अगला, हम प्रपत्र का विश्लेषण करते हैं। क्रॉस पर ध्यान केंद्रित करते हुए, हम कुंजी वाक्यांश की शुरुआत पा सकते हैं। अंकों के लिए, वे हमेशा एक ही स्थान पर स्थित होते हैं, इसलिए उन्हें ढूंढना भी आसान होता है। नतीजतन, हमने प्रपत्र द्वारा एक मार्कर खोज एल्गोरिथ्म प्राप्त किया है। यह, निश्चित रूप से, एक सार्वभौमिक समाधान नहीं है, लेकिन यह हमारे कार्य को ठीक करता है।

इसलिए, iPhone 5S पर हमें 25 से अधिक एफपीएस का प्रदर्शन मिला। इसे हासिल करना काफी मुश्किल था। सबसे पहले, किसी भी एल्गोरिथ्म की तरह, हमने तस्वीर को कम किया: कम गुणवत्ता के साथ कम किए गए चित्र पर मान्यता एल्गोरिथ्म बहुत बेहतर काम करता है। फिर उन्होंने भविष्यवाणी एल्गोरिथ्म की शुरुआत की - तस्वीर को खोजने के बाद, हम मानते हैं कि कुंजी एक निश्चित पिक्सेल मान से अधिक फ्रेम से बाहर नहीं उड़ सकती है। फिर हम तस्वीर को छोटा करते हैं। उसके बाद, हम गतिशीलता का विश्लेषण करते हैं: यदि उपयोगकर्ता फोन को बाईं ओर मोड़ता है, तो कुंजी दाईं ओर जाएगी। यह एक संभाव्य एल्गोरिदम है। यदि हम तुरंत नहीं पाते हैं कि हम क्या खोज रहे हैं, तो हम एक बड़े क्षेत्र की प्रक्रिया शुरू करते हैं। हमारे पास एक महान मॉडल रेंडरिंग एल्गोरिदम है, जो खरोंच से लिखा गया था।

हमारे पास और क्या है? कुंजी पर तीन पंक्तियाँ हैं, उनमें से प्रत्येक में 13 अंक हैं। इसका मतलब है कि 469 संयोजन संभव हैं। चूंकि मीटर से अधिक की दूरी पर तस्वीर पहले से ही कुछ धुंधली है, हमने त्रुटि सुधार के साथ एक संभाव्य डिक्रिप्शन एल्गोरिथम बनाया। हम इसका इस्तेमाल सेल्फ-करेक्टिंग कुंजी के साथ करते हैं। इसलिए हम चार झूठे संकेतों की सही पहचान करते हैं, जो पर्याप्त हैं। हमारे पास अगली स्थिति के लिए एक अनुकूलित पहचान एल्गोरिथ्म, एक ट्रैकिंग और भविष्यवाणी एल्गोरिथ्म भी है।

इस तथ्य के बावजूद कि ऐसी कुंजी कुछ हद तक एक क्यूआर कोड की याद दिलाती है, मूलभूत अंतर हैं। आप संवर्धित वास्तविकता को क्यूआर कोड से संलग्न नहीं कर सकते, क्योंकि इसकी सामग्री लगातार बदल रही है। दूसरे शब्दों में, आप इसे एक मार्कर के रूप में नहीं बना सकते। आप उस पर 3 डी मॉडल नहीं डाल सकते हैं और आप रोटेशन के कोण को निर्धारित नहीं कर सकते हैं। इसके अलावा, ऐसी कुंजी बहुत आसानी से पहचानने योग्य है।

फुटबॉल क्लब के पहचानकर्ता

हमने एक एप्लिकेशन भी विकसित किया है जो उपयोगकर्ताओं को अपने पसंदीदा फुटबॉल क्लबों का ट्रैक रखने में मदद करता है। यह आपको एक फुटबॉल क्लब के लोगो की छवि में आभासी वास्तविकता को जोड़ने की अनुमति देता है - जब आप लोगो पर कैमरा मँडराते हैं, तो क्लब डेटा प्रदर्शित होता है।

पूरक वास्तविकता: समीक्षा सामग्री