विंडोज मिश्रित वास्तविकता: एक डेवलपर की गाइड (भाग 1)

नमस्कार, हेब्र! आज हम विंडोज मिश्रित वास्तविकता पर लेखों की एक श्रृंखला शुरू कर रहे हैं। इसके ढांचे के भीतर, हम स्क्रैच से एकता पर एक मिश्रित वास्तविकता एप्लिकेशन विकसित करेंगे। वैसे, यह सब प्रारूप प्रयोगशाला कार्य (प्रयोगशाला कार्य) में होगा, अर्थात, आप स्वयं, लेखों के प्रकाशन के समानांतर, इस तरह के एक एप्लिकेशन बना सकते हैं। अब सम्मिलित हों!

पूरे गाइड में 5 भाग शामिल होंगे। इसकी भरपाई हर हफ्ते की जाएगी। नीचे आप अपनी आवश्यकता के भाग में जा सकते हैं।

भाग 1: एकता से विंडोज मिश्रित वास्तविकता के लिए निर्यात UWP आवेदन ;
भाग 2: पर्यावरण की स्थापना (वीआर) ;
भाग 3: नियंत्रकों ;
भाग 4: स्थानिक ध्वनि ;
भाग 5: HoloLens और ग्राफ़िक्स ।

मिश्रित वास्तविकता आभासी सामग्री के साथ वास्तविक दुनिया का एक संयोजन है, एक संकर वातावरण जिसमें भौतिक और डिजिटल वस्तुएं एक साथ मौजूद हैं और एक दूसरे के साथ बातचीत करती हैं।

इस ट्यूटोरियल में, आप इमर्सिव विंडोज मिक्स्ड रियलिटी (वीआर) हेडसेट्स और माइक्रोसॉफ्ट होलोन्स (एआर) डिवाइसों के लिए एक एप्लीकेशन बनाएंगे। यूनिटी के साथ, आप एक आभासी कमरा बनाएंगे जिसमें उपयोगकर्ता एक स्पीकर के साथ बातचीत करते हैं जो स्थानिक ध्वनि को पुन: पेश करता है। उपयोगकर्ता कमरे में विभिन्न बिंदुओं को टेलीपोर्ट करके या स्पीकर को कमरे के चारों ओर ले जाकर ध्वनि सुनेंगे।

आवेदन HoloLens के साथ अधिकतम संगतता के लिए मिश्रित वास्तविकता टूलकिट का उपयोग करके बनाया जाएगा। पाठ के अंत की ओर, आप वर्चुअल रियलिटी एप्लिकेशन से HoloLens डिवाइस के लिए अनुभव को अनुकूलित करने के लिए एप्लिकेशन में कुछ बदलाव करेंगे।

सबक पूरा करने के बाद, आप:

• एकता का उपयोग करके आभासी वास्तविकता एप्लिकेशन बनाना सीखें और इस ज्ञान को समेकित करें;
• मिश्रित वास्तविकता के लिए UWP एप्लिकेशन बनाने के लिए एकता को कॉन्फ़िगर करना सीखें।
• कैमरा सेटिंग्स, इनपुट प्रोसेसिंग (टकटकी नियंत्रण, गति और इशारे नियंत्रकों), और एमआर अनुप्रयोगों में स्थानिक ध्वनि प्रजनन जैसे मानक मिश्रित वास्तविकता (एमआर) सुविधाओं का उपयोग करना सीखें;
• जानें कि मिक्स्ड रियलिटी ऐप कैसे बनाएं जो VR ग्लास और HoloLens दोनों के लिए उपयुक्त हों।

हार्डवेयर आवश्यकताओं

• एमआर-सक्षम कंप्यूटर
• [वैकल्पिक] गति नियंत्रकों के साथ इमर्सिव विंडोज मिक्स्ड रियलिटी हेडसेट
• [वैकल्पिक] HoloLens डिवाइस

नोट। यदि आपके पास एक इमर्सिव हेडसेट या होलोएलेंस डिवाइस तक पहुंच नहीं है, तो आप देख सकते हैं कि मिक्स्ड रियलिटी सिम्युलेटर या होलोन्स एमुलेटर में आपका एप्लिकेशन कैसे काम करता है। नीचे लिंक देखें।

सॉफ्टवेयर आवश्यकताओं

• विजुअल स्टूडियो 2017 । कोई भी संस्करण, मुक्त समुदाय संस्करण सहित करेगा। स्थापना के दौरान, निम्नलिखित घटकों और वर्कलोड का चयन किया जाना चाहिए:

• यूनिवर्सल विंडोज प्लेटफॉर्म के लिए विकास;
• एकता के साथ काम करने के लिए उपकरणों का उपयोग करके खेल विकास;
• विंडोज 10 फॉल क्रिएटर्स अपडेट एसडीके या बाद में (विजुअल स्टूडियो 2017 के नवीनतम संस्करण में शामिल);

नोट। विजुअल स्टूडियो में, मेन्यू टूल्स -> गेट टूल्स एंड फीचर्स (टूल्स -> गेट टूल्स एंड कंपोनेंट्स) का उपयोग करके विभिन्न टूलकिट्स तक पहुंच प्राप्त की जा सकती है।

• एकता 2017.4.3 (स्थापना के दौरान घटकों का चयन करते समय, आपको .Net स्क्रिप्टिंग बैकेंड को जोड़ना होगा);

• ओएस विंडोज 10 फॉल क्रिएटर्स अपडेट (या बाद में);

• डेवलपर मोड को सक्षम करने के लिए, डेवलपर्स के लिए सेटिंग्स -> अपडेट और सुरक्षा -> पर जाएं।

• [वैकल्पिक] एमुलेटर होलोन्स या सिम्युलेटर मिश्रित वास्तविकता ।

UWP विंडोज मिक्स्ड रियलिटी ऐप को एकता से निर्यात करें

1. एक एकता परियोजना बनाएं और संसाधन आयात करें

इस अभ्यास के लिए, हमें कुछ आवश्यक संसाधनों को आयात करने की आवश्यकता है। इन दो यूनिटी पैकेज को डाउनलोड करें और अपने कंप्यूटर पर सेव करें।

• Holotoolkit.Unitypackage
  यह Microsoft मिश्रित वास्तविकता टूलकिट का एक स्नैपशॉट है, जो स्क्रिप्ट और घटकों का एक सेट है जो Microsoft मिश्रित विंडोज और वास्तविकता के लिए अनुप्रयोगों के विकास को तेज करता है जो विंडोज मिश्रित वास्तविकता का समर्थन करते हैं।
• SpatialSoundLab.Unitypackage
  इस व्यावहारिक पाठ के लिए एक विशेष पैकेज तैयार किया गया है। ऐसे संसाधन (मॉडल, सामग्री और ध्वनि क्लिप) शामिल हैं जिनका उपयोग स्थानिक ध्वनि के साथ काम करने के लिए किया जाएगा।

संसाधन फ़ाइलों को प्राप्त करने के बाद, हम एक एकता परियोजना बना सकते हैं।

1. एकता संपादक खोलें और नया क्लिक करें।

2. परियोजना के लिए एक नाम चुनें (उदाहरण के लिए, अध्यक्ष पद)।

3. टेम्पलेट के लिए 3 डी चालू करें, एनालिटिक्स बंद करें, और Create project क्लिक Create project ।

4. एकता पैकेज आयात करने के लिए, एसेट्स का चयन करें -> आयात पैकेज -> मेनू से कस्टम पैकेज, और पहले से सहेजे गए Holotoolkit.unitypackage पैकेज पर नेविगेट करें।



5. सभी फ़ाइलों को आयात करने के लिए आइटम को अचयनित न करें। Import क्लिक करें।



आयात प्रक्रिया में कई चरण होते हैं और इसमें कई मिनट लग सकते हैं। यदि पैकेज आयात सफल होता है, तो प्रोजेक्ट विंडो में एसेट्स फ़ोल्डर के तहत होलोटूलकिट नामक फ़ोल्डर दिखाई देता है।



6. इसके अलावा ऊपर दिए गए चरणों को दोहराकर SpatialSoundLab.UnityPackage फ़ाइल आयात करें।

7. एसेट्स फ़ोल्डर में अब दोनों पैकेज होने चाहिए।

2. परियोजना मापदंडों का अनुप्रयोग

अगला, हमें विंडोज मिक्स्ड रियलिटी के लिए एप्लिकेशन बनाने के लिए अपनी एकता परियोजना को कॉन्फ़िगर करने की आवश्यकता है। यह कार्य मिश्रित वास्तविकता टूलकिट को पूरा करने में हमारी मदद करेगा।

1. ऊपरी मेनू में, मिश्रित वास्तविकता टूलकिट -> कॉन्फ़िगर करें (मिश्रित वास्तविकता टूलकिट -> सेटिंग्स) अनुभाग पर जाएं और मिश्रित वास्तविकता प्रोजेक्ट सेटिंग्स लागू करें चुनें।



2. टूलकिट-विशिष्ट InputManager अक्ष का उपयोग करें चेक बॉक्स का चयन करें और लागू करें बटन पर क्लिक करें।



संदर्भ उद्देश्यों के लिए, हम प्रत्येक पैरामीटर का विवरण देते हैं:

• लक्ष्य Windows यूनिवर्सल UWP (Windows यूनिवर्सल UWP के लिए निर्माण) - एकता के लिए लक्ष्य मंच निर्दिष्ट करता है। लक्ष्य प्लेटफ़ॉर्म के अन्य विकल्पों को फ़ाइल -> बिल्ड सेटिंग्स का चयन करके देखा जा सकता है।
• Direct3D के लिए बिल्ड: बिल्ड सेटिंग्स अनुभाग में बिल्ड टाइप पैरामीटर के लिए डी 3 डी मान सेट करता है। बंद हेडसेट्स के लिए डिज़ाइन किए गए मिश्रित वास्तविकता अनुप्रयोगों के लिए, XAML समर्थित नहीं है।
• सक्षम एक्सआर पैरामीटर सेट करना प्लेयर सेटिंग्स -> एक्सआर सेटिंग्स अनुभाग में वर्चुअल रियलिटी सपोर्टेड पैरामीटर सेट करने के समान है।
• सेटिंग सक्षम करें .NET स्क्रिप्टिंग प्लेयर सेटिंग्स के लिए सेटिंग के बराबर है -> अन्य सेटिंग्स -> स्क्रिप्टिंग बैकेंड (प्लेयर सेटिंग्स -> अन्य सेटिंग्स -> स्क्रिप्टिंग प्लेटफॉर्म)। IL2CPP विकल्प भी काम करेगा, लेकिन इस लैब में स्थिरता के लिए, हम .NET संस्करण का उपयोग करने की सलाह देते हैं।
• टूलकिट-विशिष्ट InputManager अक्ष पैरामीटर का उपयोग करें संपादन की कुल्हाड़ियों को बदल देता है -> परियोजना सेटिंग्स -> इनपुट प्रबंधक अनुभाग टूलबॉक्स में उपयोग किए जाने वाले सभी अक्षों के लिए समर्थन सक्षम करने के लिए। । दूसरे शब्दों में, इसमें Xbox गेमपैड के लिए समर्थन और मिश्रित वास्तविकता के लिए नियंत्रक शामिल हैं।
• यदि आप केवल इमर्सिव हेडसेट्स के लिए एप्लिकेशन बनाते हैं, तो आप लक्षित उपकरण को लक्षित करें चेक बॉक्स का चयन कर सकते हैं। चूंकि हम अपने एप्लिकेशन को HoloLens डिवाइस में स्थानांतरित करने जा रहे हैं, इसलिए हम इस चेक बॉक्स का चयन नहीं करेंगे।

हमने मिश्रित वास्तविकता के लिए समर्थन प्रदान किया है, लेकिन कुछ और सेटिंग्स हैं जिन्हें सार्वभौमिक विंडोज प्लेटफॉर्म के लिए बनाने की आवश्यकता है।

3. ऊपरी मेनू में, मिश्रित वास्तविकता टूलकिट -> कॉन्फ़िगर करें (मिश्रित वास्तविकता टूलकिट -> सेटिंग्स) अनुभाग पर जाएं और यूडब्ल्यूपी क्षमता सेटिंग लागू करें चुनें।



4. यदि आप इस एप्लिकेशन को HoloLens डिवाइस में स्थानांतरित करना चाहते हैं, तो स्थानिक बोध चेक बॉक्स का चयन करें। यह हमें पर्यावरण को मैप करने और बोलने वालों को समायोजित करने के लिए सतहों को खोजने की अनुमति देगा।

5. अपने परिवर्तनों को सहेजने के लिए Apply बटन पर क्लिक Apply ।

6. इसके बाद, फ़ाइल खोलें -> कीबोर्ड शॉर्टकट Ctrl + Shift + B का उपयोग करके सेटिंग संवाद बॉक्स बनाएँ, यूनिवर्सल विंडोज प्लेटफ़ॉर्म चुनें, फिर स्विच प्लेटफ़ॉर्म पर क्लिक करें। असेंबली के नाम के आगे बॉक्स को चेक करके असेंबली में एक ओपन सीन जोड़ें और ओपन ओपन सीन बटन पर क्लिक करें। दृश्य को बचाने के लिए प्रस्ताव की पुष्टि करें और इसके लिए एक उपयुक्त नाम का चयन करें। हमने अपने सीन को मेन कहा।

3. दृश्य सेटिंग्स लागू करें और मिश्रित वास्तविकता वस्तुओं को जोड़ें

अब हमें सीन सेट करने की जरूरत है। आइए उन वस्तुओं को जोड़ें जो नियंत्रक से कैमरा आंदोलन और संकेतों को संभालेंगे।

1. शीर्ष मेनू से, मिश्रित वास्तविकता टूलकिट -> कॉन्फ़िगर करें (मिश्रित वास्तविकता टूलकिट -> सेटिंग्स) अनुभाग पर जाएं और मिश्रित वास्तविकता प्रोजेक्ट सेटिंग्स लागू करें चुनें।



2. चयनित सभी डिफ़ॉल्ट सेटिंग्स को छोड़ दें और लागू करें बटन पर क्लिक करें।



संदर्भ उद्देश्यों के लिए, हम इन सभी मापदंडों का विवरण प्रदान करते हैं:

• प्रीफ़ैब मिश्रितRealityCameraParent दृश्य में जोड़ा जाता है। यह प्रीफ़ैब मूल (0,0,0) में एक मानक (मुख्य) कैमरा जोड़ता है, और गति और सीमा नियंत्रकों के लिए समर्थन भी जोड़ता है।
• Prefab InputManager को दृश्य में जोड़ा जाता है। यह इनपुट समर्थन (टकटकी, इशारा नियंत्रण, स्पर्श इनपुट या एक Xbox गेमपैड) प्रदान करता है।
• Prefab DefaultCursor को दृश्य में जोड़ा जाता है।

सभी जोड़े गए ऑब्जेक्ट एकता पदानुक्रम पैनल में दिखाई देंगे।

यह एमआर के लिए यूडब्ल्यूपी एप्लिकेशन बनाने के लिए परियोजना की स्थापना और दृश्य को पूरा करता है।

दृश्य और डिजाइन को बचाओ।

3. फ़ाइल पर क्लिक करें -> दृश्यों को बचाएं। जब दृश्य के लिए एक नाम चुनने के लिए कहा जाए, तो उसे नाम दें (या किसी अन्य उपयुक्त नाम के साथ आएं)।

4. फ़ाइल -> प्रोजेक्ट सहेजें पर क्लिक करें।

नोट। यहां उपयोग किए गए सभी मापदंडों के विस्तृत विवरण के लिए, यह मिश्रित वास्तविकता प्रोजेक्ट सेटअप गाइड देखें ।

4. हैडसेट्स पर एप्लिकेशन की तैनाती

अब आपको ऐसा करने की आवश्यकता नहीं है, लेकिन यदि आप एक परियोजना बनाने का निर्णय लेते हैं, तो इसे लॉन्च करने के लिए निम्नलिखित निर्देशों का उपयोग करें।

एक immersive हेडसेट पर एक परियोजना की तैनाती

1. मिश्रित वास्तविकता टूलकिट पर जाएं -> बिल्ड विंडो (मिश्रित वास्तविकता टूलकिट -> बिल्ड विंडो)।

2. Open in Visual Studio क्लिक करें। इस कार्रवाई में कई मिनट लगेंगे - इस समय के दौरान सभी संसाधनों को संकलित किया जाएगा और विज़ुअल स्टूडियो के लिए एक समाधान बनाया या अद्यतन किया जाएगा।

नोट। यदि एकता में एक संदेश दिखाई देता है कि परियोजना के लिए कोई खुला समाधान नहीं है और आपसे पूछा जाता है कि क्या आपको विधानसभा को पूरा करने की आवश्यकता है, तो हां, बिल्ड चुनें।

3. बिल्ड पूरा होने के बाद, यूनिटी विजुअल स्टूडियो शुरू करेगी।

4. मानक विज़ुअल स्टूडियो टूलबार में, एआरएम से x64 तक सक्रिय समाधान प्लेटफ़ॉर्म को बदलें। परिनियोजन लक्ष्य के लिए, आपको स्थानीय मशीन का चयन करना होगा।



यदि आप डिबगिंग नहीं कर रहे हैं, तो हम अनुशंसा करते हैं कि आप डीबग से रिलीज़ तक बिल्ड प्रकार भी बदलें, क्योंकि यूनिटी डीबग बिल्ड अक्सर सबसे धीमी होती हैं।

5. प्ले बटन दबाकर एप्लिकेशन लॉन्च करें।

एक HoloLens डिवाइस पर एक परियोजना की तैनाती

एक HoloLens डिवाइस पर एक परियोजना को तैनात करने की प्रक्रिया केवल एक अपवाद के साथ इमर्सिव हेडसेट्स के लिए उपरोक्त प्रक्रिया के समान है, जिसे आपको किसी अन्य लक्ष्य डिवाइस का चयन करने और x86 को प्लेटफ़ॉर्म के रूप में चुनने की आवश्यकता है।

1. मिश्रित वास्तविकता टूलकिट पर जाएं -> बिल्ड विंडो (मिश्रित वास्तविकता टूलकिट -> बिल्ड विंडो)।

2. Open in Visual Studio क्लिक करें। इस कार्रवाई में कई मिनट लगेंगे - इस समय के दौरान सभी संसाधनों को संकलित किया जाएगा और विज़ुअल स्टूडियो के लिए एक समाधान बनाया या अद्यतन किया जाएगा।

नोट। यदि एकता में एक संदेश दिखाई देता है कि परियोजना के लिए कोई खुला समाधान नहीं है और आपसे पूछा जाता है कि क्या आपको विधानसभा को पूरा करने की आवश्यकता है, तो हां, बिल्ड चुनें।

3. बिल्ड पूरा होने के बाद, यूनिटी विजुअल स्टूडियो शुरू करेगी।

4. मानक विज़ुअल स्टूडियो टूलबार में, एआरएम से x86 तक सक्रिय समाधान मंच को बदलें और तैनाती के लिए उपयुक्त लक्ष्य का चयन करें:

• अगर तैनाती USB के माध्यम से है, तो डिवाइस का चयन करें;
• यदि परिनियोजन Wi-Fi के माध्यम से है, तो दूरस्थ मशीन का चयन करें और दूरस्थ कंप्यूटर को कॉन्फ़िगर करें।

यदि आप डिबगिंग नहीं कर रहे हैं, तो हम अनुशंसा करते हैं कि आप डीबग से रिलीज़ तक बिल्ड प्रकार भी बदलें, क्योंकि यूनिटी डीबग बिल्ड अक्सर सबसे धीमी होती हैं।

5. प्ले बटन दबाकर एप्लिकेशन लॉन्च करें।

Microsoft Store पर एप्लिकेशन प्रकाशित करने की जानकारी के लिए, Windows डेवलपर साइट देखें ।

स्पीकर प्लेसमेंट ऐप

स्पीकर रखने के लिए हमारे स्पीकर प्लेसमेंट एप्लिकेशन में, उपयोगकर्ता के पास निम्नलिखित विकल्प होंगे:

• गति नियंत्रकों का उपयोग करते हुए, उपयोगकर्ता वर्चुअल लिविंग रूम के विभिन्न बिंदुओं पर टेलीपोर्ट कर सकता है या इसके चारों ओर घूम सकता है;
• आप स्पीकर का चयन कर सकते हैं, स्थानांतरित कर सकते हैं, घुमा सकते हैं, उन्हें चालू और बंद कर सकते हैं और पूरे कमरे में स्थानिक ध्वनि सुन सकते हैं।

नीचे हमारे मॉडल और संगीत संसाधनों की एक सूची दी गई है।

• Prefabs -> RoomPrefab.prefab - एक इमर्सिव हेडसेट के लिए एक वर्चुअल लिविंग रूम।
• मॉडल -> स्पीकर .3DS - हमारे वक्ताओं का एक मॉडल, जिसे हम एक कामकाजी प्रीफ़ैब में बदल देंगे।
• ऑडियो -> ChillBlueLagoon.mp3 - संगीत फ़ाइल (आप MP3, OGG, WAV या AIFF प्रारूप में किसी भी फ़ाइल का उपयोग कर सकते हैं)।

अन्य सुविधाओं को मिश्रित वास्तविकता टूलकिट का उपयोग करके लागू किया जाएगा। इस किट के घटकों का उपयोग इंटरऑपरेबिलिटी को जोड़ने के लिए किया जाएगा।

मूल
लेखक: एरिक अहलस्ट्रोम, cbarkerms, मैडिसन हाइट