🌐 💖 🕚 मैंने एक Wii-nunchak को HoloLens से कैसे जोड़ा, या आभासी बटन को वास्तविक बटन की आवश्यकता क्यों है 📃 🤾🏻 👄

बाहर देखो, नि, अब मैं हर किसी को बुलाता हूं!

हमारी पूरी टीम को लंबे समय से प्रतीक्षित HoloLens की डिलीवरी का बेसब्री से इंतजार था, इसे पूरे सागर में परिचितों के माध्यम से आदेशित करना था और मुट्ठी बांधकर रखना था, ताकि रीति-रिवाजों से वाईफाई की दिलचस्पी न हो, जो यूरोप के लिए अभी तक प्रमाणित नहीं है। अंत में, सितंबर की शुरुआत में, क़ीमती अंडाकार मामला हमारे पास आया। हम खोलते हैं, चार्ज करते हैं, सिर पर रखते हैं - यहां वे हैं, आभासी दुनिया का प्रवेश द्वार। सच है, वे गेट पर एक पास के लिए पूछते हैं - आपको माइक्रोसॉफ्ट से पासवर्ड के साथ लॉग इन करना होगा। हां, हां, विशेष रूप से और विभिन्न रजिस्टरों में, क्रिप्टोग्राफिक रूप से लंबा है। जबकि आभासी दुनिया के हमारे अग्रणी, एयर-टैप इशारे के साथ हवा में चुटकी लेते हुए, ओपा, ओपा # 00FF00 ओगराड @ जैसी कुछ टाइपिंग करते हैं! अंतरिक्ष में तैरते कीबोर्ड पर, बाकी के पास यह सोचने का समय था कि हम इस 3 डी को कैसे प्रबंधित करने जा रहे हैं।

समस्या

डेस्कटॉप पर, और टैबलेट और मोबाइल फोन पर कुछ आरक्षण के साथ, हमारे पास दो प्रकार के इनपुट डिवाइस हैं। माउस - आप किसी भी एक मिलियन पिक्सेल को निर्दिष्ट कर सकते हैं। तेज लेकिन गलत। कीबोर्ड - एक बहुत छोटे वर्गीकरण (<100) से एक या अधिक बटन दबाएं, लेकिन यह बहुत मज़बूती से और यहां तक कि नेत्रहीन रूप से काम करता है। एस्केप जैसे विशेष बटन लगभग त्रुटियों के बिना दबाए जाते हैं, आप भ्रमित नहीं करेंगे।

HoloLens में, माउस एनालॉग नाक के सामने लटका हुआ कर्सर बिंदु है। एक चुटकी एयर-टैप माउस बटन क्लिक करने में उतना सुविधाजनक नहीं है, लेकिन संलग्न एक-बटन क्लिकर नियंत्रक मदद करता है। वांछित अनुमानित बटन का चयन करना और "चलो चलें" कमांड देना आसान है, लेकिन कार्रवाई को रद्द करने के साथ गंभीर समस्याएं हैं - पलायन में कमी है। उदाहरण के लिए, गैलेक्सी एक्सप्लोरर में ग्रह को दिखाना और विस्तृत जानकारी को कॉल करना आसान है, लेकिन आकाशगंगा के नक्शे पर लौटने या बस पैमाने को दृढ़ता से बदलकर तंबूरा के साथ नृत्य जैसा दिखता है, खासकर यदि आप पक्ष से चश्मा वाले व्यक्ति को देखते हैं।

Microsoft Cortana के माध्यम से वॉयस कमांड देने की सलाह देता है, लेकिन क्या आपने एक ही कमरे में कम से कम पांच के साथ ऐसा करने की कोशिश की है? हैलो क्यूब्स और ओपन स्पेस। जब एक काम करने वाले कन्वेयर के साथ प्रयोग किया जाता है, जैसा कि हमारे मामले में, बाहरी शोर हस्तक्षेप करता है। इसके अलावा, स्क्रीन को देखते हुए, उपयोगकर्ता तुरंत माउस के साथ उपलब्ध बटन और हाइपरलिंक देखता है, और भौतिक कीबोर्ड पर आप संभावित विकल्पों को भी छू सकते हैं। लेकिन यहां मेरे सामने एक माइक्रोफोन है, कैसे, इसे देखने के लिए, यह समझने के लिए कि कौन सी आज्ञाओं का समर्थन किया जाता है? यह भी स्पष्ट नहीं है कि उसके साथ कौन सी भाषा बोलनी है, इस तथ्य का उल्लेख नहीं करना कि हमारी टीम अंतरराष्ट्रीय है और हमारी मूल भाषा है और सभी का अपना उच्चारण है।

आवाज इंटरफ़ेस मुद्दों

विचार

तो विचार HoloLens nunchak को Wii जकड़ना करने के लिए पैदा हुआ था। भविष्य में दो उच्च गुणवत्ता वाले, एंटी-बाउंस, जॉयस्टिक, प्लस के साथ हार्डवेयर बटन, एक्सेलेरोमीटर का उपयोग करने की क्षमता। डिवाइस कॉम्पैक्ट, मोबाइल, टिकाऊ और सस्ता है। इसके अलावा, Wii रिमोट ब्लूटूथ द्वारा एक छिपाई इनपुट डिवाइस के रूप में पहचाना जाता है, क्या सरल हो सकता है?

यहां पहली निराशा का इंतजार है - निंटेंडो से नियंत्रक को जोड़ने के लिए एक पिन के लिए पूछता है, जो इसके विपरीत दर्ज किए गए डिवाइस का पता है। उदाहरण के लिए, मेरे नियंत्रक का पता 00: 1 ई: ए 9: 5 डी: ए 6: बीसी है और मुझे किसी तरह कोड बीसी, ए 6,5 डी, ए 9,1 ई, और अंतिम छोर 00 के साथ 5 वर्णों की एक पंक्ति दर्ज करने की आवश्यकता है: शायद कोई है। मैं नियंत्रक के पते के साथ भाग्यशाली था, लेकिन मेरे पास सभी उपलब्ध पते अनपेक्षित वर्णों की श्रेणी में थे।

ननचैक I2C बस पर डेटा प्रदान करता है और बटन की स्थिति और माइक्रोकंट्रोलर से एक्सेलेरोमीटर को पूछताछ करना आसान है। मैंने ब्लूफोर्स ईज़ी-कुंजी के माध्यम से डेटा को होलोन्स में स्थानांतरित करने का फैसला किया - यह एक तैयार-निर्मित छिपाई कीबोर्ड नियंत्रक है जो एक साथ दबाए गए 6 कुंजी का एक मनमाना संयोजन भेज सकता है।

परिणामी वास्तुकला है:

Arduino, आप उसके बिना कैसे कर सकते हैं

माइक्रोकंट्रोलर से न्यूनतम तर्क की आवश्यकता होती है - अपने लिए I2C से डेटा पढ़ें, और तालिका से उपयुक्त USB HID कोड भेजें । पढ़ने के लिए Arduino के लिए एक तैयार पुस्तकालय था, और मैंने इसे लिया, विशेष रूप से पसंद लघु Arduino प्रो मिनी पर गिर गया 3.3M के वोल्टेज के साथ 8MHz पर। हमारे पास बड़े पैमाने पर उत्पादन नहीं है और एक प्रोटोटाइप का खर्च $ 10 होगा, भले ही उसी काम के साथ माइक्रोकंट्रोलर सेंट के एक जोड़े के लिए सामना करेगा।

हम ब्रेडबोर्ड पर प्रोटोटाइप को इकट्ठा करते हैं, इसे होलपैड इंटरनेट एक्सप्लोरर पर लॉन्च करते हैं, नोटपैड और ... चीयर्स के लिए सबसे सरल प्रतिस्थापन के रूप में! जीत गए हैं! जब आप बटन पर क्लिक करते हैं तो ब्राउज़र अक्षरों के एड्रेस बार में दिखाई देते हैं!

पहली कॉम गांठ

Arduino के लिए कोड डीबग करते समय, उसने एक रेक पर कदम रखा - अप्रत्याशित रूप से, ब्लूफ्रूट ने कोड भेजना बंद कर दिया, हालाँकि ब्लूटूथ ठीक था और डिवाइस को अभी भी कीबोर्ड के रूप में HoloLens द्वारा पता लगाया गया था। Arduino Mini को FTDI केबल या किसी अन्य Arduino के साथ क्रमादेशित किया जाता है, और अगली बार जब प्रोटोटाइप को फिर से डिज़ाइन किया गया, तो ब्लूफ़र्ट संचालित नहीं था। Arduino, हालांकि, प्रोग्रामर केबल के माध्यम से कंप्यूटर से करंट प्राप्त करता है, और जो प्रोग्राम शुरू हुआ वह ईमानदारी से बटन कोड्स को संचारित करता है। डी-एनर्जेटिक बोर्ड के इनपुट पर लगाए गए 3.3 वोल्ट ने ब्लूटूथ मॉड्यूल के किनारे पर सीरियल इंटरफ़ेस के इनपुट आरएक्स-पिन को जला दिया। और आखिरकार, मैंने एक बार इजीइलेक्ट्रॉनिक्स पर एक लेख पढ़ा कि ऐसा करना असंभव क्यों है !

सौभाग्य से, ब्लूफ्रूट को एक नए के साथ बदलने के बाद, यह घड़ी की कल की तरह चला गया। कनेक्शन आरेख बहुत सरल है - कोई सक्रिय तत्व नहीं है, आपको बस पिन को एक-दूसरे से कनेक्ट करने की आवश्यकता है।

मैंने पावर के लिए ननचेक केबल को छोड़ दिया और यूएसबी-ए प्लग को मिला दिया। Arduino स्टेबलाइज़र USB से 3.3 में 5 वोल्ट में कनवर्ट करता है, जो ननचैक और ब्लूफ्रूट EZ-Key के तर्क को खिलाता है। केबल के अंत में मैंने ब्लूटूथ से पेयर बटन निकाला। असामान्य रूप से, निर्देशों के अनुसार, यह बटन पॉवर बस से जुड़ा होना चाहिए, न कि जमीन पर, जैसे ब्लूप्रिंट पर अन्य सभी बटन।

प्रोग्रामिंग और विधानसभा

Arduino पर निष्पादित कार्यक्रम बहुत सरल है - दबाए गए बटन को प्रति सेकंड 20 बार पूछताछ करने के लिए, उनके यूएसबी छिपाई कोड को एक बफर में डाल दें (एक ही समय में कई क्लिक संभव हैं) और उन्हें सीरियल इंटरफ़ेस के माध्यम से ब्लूटूथ मॉड्यूल पर भेजें। एकमात्र विशेषता यह है कि आईडीई में Arduino प्रकार को सही ढंग से निर्दिष्ट करना महत्वपूर्ण है। मेरा मॉडल 8 मेगाहर्ट्ज पर काम करता है, न कि अर्डुइनो के लिए मानक 16 पर, इसलिए पहले सीरियल इंटरफ़ेस ने आधी गति से काम किया और 9200 की अपेक्षा 4800 बॉड पर डेटा दिया।

सही सेटिंग्स

सभी स्रोतों और अन्य फाइलों को जीआईटब के लिए एमआईटी लाइसेंस के तहत रखा गया है ।

Arduino Mini और Bluefroot के आकार समान हैं, और कॉम्पैक्टनेस के लिए मैंने उन्हें यहां एक साथ इस तरह के सैंडविच में मिलाया:

बोर्डों के बीच अलगाव के लिए एक U- आकार का प्लास्टिक का बना डाला जाता है, यह ब्लूटूथ मॉड्यूल की स्क्रीन को निचोड़ने से भी बचाता है। केबल कटने के बाद, उन्होंने ननचैक के तर्क को स्वीकार किया।

सामान्य तौर पर, बल्कि एक कॉम्पैक्ट डिजाइन प्राप्त किया गया था, यह मूल मामले में भी फिट बैठता है। मुझे बस इतना करना था कि कुछ कड़ियां काट ली जाएं।

पूरा ढांचा पूरा हो गया है। केबल के अंत में एक पावर प्लग और एक ब्लूटूथ कनेक्शन बटन है।

एकता

एक HoloLens दृष्टिकोण से, मेरा नियंत्रक एक साधारण कीबोर्ड है जिसका समर्थन समय की शुरुआत से बनाया गया है। किसी बाहरी निर्भरता या तीसरे पक्ष के पुस्तकालयों की जरूरत नहीं है।

जॉयस्टिक की दिशाएं ASDW में, "Z" बटन दर्ज करने के लिए, और "C" से बचने के लिए बदल जाती हैं।

if (UnityEngine.Input.GetKey(KeyCode.A))
{
    // Joystick left
    ...
}

if (UnityEngine.Input.GetKey(KeyCode.D))
{
    // Joystick right
    ...
}

इस तरह के एक कोड डेस्कटॉप पर HoloLens एमुलेटर चलाकर डिबग करने के लिए बहुत सुविधाजनक है, आप बस कीबोर्ड पर बटन दबा सकते हैं और, एप्लिकेशन के दृष्टिकोण से, कोई अंतर नहीं है।

परिणाम यह है:

वीडियो को चश्मे से सीधे अंतर्निहित मिश्रित वास्तविकता कैप्चर फ़ंक्शन के माध्यम से शूट किया गया था। डेमो के लिए सोर्स कोड भी जीथब पर है।

आगे क्या है?

पावर बैंक को अपनी जेब में रखना आसान है और USB पावर गतिशीलता को काफी कम नहीं करता है, लेकिन आप पूरी तरह से स्वायत्त डिवाइस चाहते हैं। मैं एक 18650 लिथियम आयन जार और एक माइक्रो-यूएसबी चार्ज नियंत्रक को खराब करने की सोच रहा हूं। 3.3 से 8 वोल्ट तक के किसी भी वोल्टेज को Arduino को आपूर्ति की जा सकती है, इसलिए अतिरिक्त स्थिरीकरण की आवश्यकता नहीं है। काश, बैटरी अब मूल मामले में फिट नहीं होगी, आपको अपने आप को 3 डी प्रिंटर पर प्रिंट करना होगा।

घोंचू में एक एक्सेलेरोमीटर भी है, जिसका मैंने अभी तक उपयोग नहीं किया है। सिद्धांत रूप में, इसका उपयोग माउस को अनुकरण करने के लिए किया जा सकता है, लेकिन हम अभी तक यह समझ नहीं पाए हैं कि इसका उपयोग बुद्धिमानी से कैसे किया जाए। यह एक शांत कार्यालय में मेज पर नहीं बैठकर HoloLens का उपयोग करने की योजना है, लेकिन चलते-चलते और शोरगुल वाले गोदाम में। उपयोगकर्ता अपने हाथ को क्षैतिज रूप से पकड़ने में सक्षम नहीं होगा, नियंत्रक को सटीक आंदोलनों के साथ झुका सकता है, लेकिन स्पष्ट रूप से पहचानने योग्य बटन प्रेस चीज हैं।

हो सकता है कि कोई व्यक्ति आज्ञाकारी और इशारों की एक प्रणाली का आविष्कार करेगा जो चश्मे के लिए उपयुक्त है, लेकिन अभी तक कीबोर्ड और माउस का प्रबंधन कुछ ऐसा है जो उपयोगकर्ता अच्छी तरह से समझते हैं और डेवलपर्स प्रोग्रामिंग में अच्छे हैं।

समर्थन मंच पर, लोगों को नए इशारों ~~और चश्मे की~~ आवश्यकता होती है , आइए देखें कि Microsoft क्या और क्या करता है।

मैंने एक Wii-nunchak को HoloLens से कैसे जोड़ा, या आभासी बटन को वास्तविक बटन की आवश्यकता क्यों है