🏯 🦂 🧙🏿 वीआर चश्मे के लिए स्टीरियो वीडियो की लाइव स्ट्रीमिंग (ओकुलस गो) 🌒 🙅 👩🏼‍🏫

हम एक लंबा परिचयात्मक हिस्सा नहीं करेंगे, हम सीधे बिंदु पर जाएंगे।

तो, एक स्टीरियो कैमरा है जो विभिन्न प्रोटोकॉल के माध्यम से H264 वीडियो वितरित कर सकता है। चश्मा ओकुलस गो हैं। वीआर ग्लास में एक कैमरा से स्टीरियो लाइव स्ट्रीम कैसे देखें? यह वांछनीय है, न्यूनतम विलंब और स्थानीय रूप से, ताकि Youtube और अन्य RTMP वीडियो सेवाएं गायब हो जाएं।

आगे देखिए, वही हुआ। शुरुआत में - स्टीरियो से पहले से रिकॉर्ड की गई वीडियो फ़ाइल का प्लेबैक, फिर स्टीरियोपीपी (एमपीडी-टीएसपी के माध्यम से स्टीरियो) के साथ एक लाइव स्ट्रीम का प्लेबैक।

मेरे द्वारा उपयोग किया जाने वाला स्टीरियो कैमरा StereoPi है, इसलिए मैं इसके संबंध में विशिष्ट उदाहरण देता हूँ। वास्तव में, यह एक साधारण रास्पबेरी है, लेकिन दो कैमरों के साथ, इसलिए वर्णित उदाहरणों को साधारण रास्पबेरी पर आजमाया जा सकता है, अगर आप वास्तव में चाहते हैं। सच है, आपको स्टीरियो को स्टीरियोओपी से इंस्टॉल करना होगा।

पहली चीज एक नियमित एंड्रॉइड एप्लिकेशन बनाने का एक प्रयास था जो कैमरे से पूर्ण स्क्रीन तक स्ट्रीम निभाता है, और इसे ऑक्सोल्ड विधि (adb के माध्यम से) के साथ ऑक्यूलस में भर देता है।

प्रकट के साथ कुछ लेने के बाद, चश्मा इस एप्लिकेशन को मूल विचार करने के लिए सहमत हुए। यह लाइब्रेरी में "अज्ञात स्रोत" में दिखाई दिया, शुरू हुआ, वह सब कुछ दिखाया गया था जिसकी आवश्यकता थी, लेकिन एक समस्या थी - सिर के आंदोलनों को ध्यान में नहीं रखा गया था, कैमरे से वीडियो को बस पूरी तरह से चश्मे के साथ पूर्ण स्क्रीन में प्रदर्शित किया गया था। स्टीरियो प्रभाव था, हाँ, लेकिन जैसे ही मैंने अपना सिर थोड़ा सा हिलाया, मस्कोवाइट पागल होना शुरू हो गया, जिससे बहुत, बहुत असुविधाजनक संवेदनाएं हुईं।

यदि ऐसा है, तो यहां .apk एप्लिकेशन: Oculus Go के लिए स्टीरियोपीआई एक ही समय में संग्रह और adb झूठ में है, इसलिए आप तुरंत चश्मे में भरने की कोशिश कर सकते हैं। बस आज्ञा दीजिए

adb install StereoPi.apk

उसके बाद, लाइब्रेरी -> अज्ञात स्रोतों पर जाएं, आवेदन com.virt2real.stereopi वहां दिखाई देना चाहिए

हम इसे शुरू करते हैं और यदि स्टीरियोपीआई चश्मे के समान स्थानीय क्षेत्र नेटवर्क में है, तो हम तुरंत कैमरे से स्टीरियो छवि देखते हैं।

लेकिन यह कचरा है ... मैं वीडियो देखने के लिए ऑक्यूलस के लिए एक सामान्य देशी आवेदन चाहता हूं। ताकि गतिहीन स्क्रीन हो और ताकि आपके सिर को हिलाने के लिए तूफान न हो। मैं अभी तक ऑक्यूलस के लिए एकता सीखने के लिए तैयार नहीं हूं, इसलिए मुझे ओकुलस स्टोर में पहले से मौजूद वीडियो प्लेयर एप्लिकेशन का उपयोग करने का प्रयास करने का विचार मिला। मैं आमतौर पर स्काईबॉक्स में 3 डी फिल्में देखता हूं, इसलिए मैंने इसका उपयोग करने की कोशिश की।

अंतर्निहित फ्लैश ड्राइव और नेटवर्क उपकरणों से मीडिया फ़ाइलों की सामान्य देखने के अलावा, स्काईबॉक्स में एक दिलचस्प "एयरस्क्रीन" आइटम पाया गया था। यह पता चला कि आप स्काईबॉक्स एप्लिकेशन को विंडोज (अच्छी तरह से, या मैक पर) के साथ कंप्यूटर पर स्थापित कर सकते हैं, उसे वीडियो फाइलें खिला सकते हैं और फिर इन वीडियो फाइलों को चश्मे के साथ देखना संभव हो जाता है। यानी विंडोज एप्लिकेशन एक वीडियो सर्वर और चश्मा है - एक ग्राहक। मुझे संचार प्रोटोकॉल कहीं नहीं मिला, इसलिए मुझे tcpdump को उजागर करना पड़ा।

थोड़ी देर की खुदाई के बाद, यह पता चला कि स्काईबॉक्स लैन में सर्वर की खोज के लिए यूडीपी प्रसारण संदेशों का उपयोग करता है। संदेश कुछ इस तरह दिखता है:

 {"command":"search","project":"direwolf","deviceId":"66a86b57-b292-3957-9fc9-4041d5e1f841","deviceType":"vr","udpPort":"6881"}

JSON के सभी संदेश बहुत सुविधाजनक हैं।

इस संदेश के लिए हमें प्रेषक के मेजबान और संदेश में निर्दिष्ट पोर्ट पर प्रतिक्रिया भेजने की आवश्यकता है, अर्थात्। 6881

 {"udp":true,"project":"direwolf server","command":"searchResult","deviceId":"66a86b57-b292-3957-9fc9-4041d5e1f841","computerId":"53709de962eba2f9695c8a926562486c","computerName":"STEREO-PI","ip":"192.168.1.51","ips":["192.168.1.51"],"port":6888}

यहां हम अपने होस्ट और पोर्ट को इंगित करते हैं, जिस पर हमारे पास WebSockets सर्वर चल रहा है। आगे के सभी संचार वेबस्केट के माध्यम से जाएंगे।

उदाहरण के लिए, वेब सॉकेट के माध्यम से पहला संदेश कुछ इस तरह होगा:

 {"command":"addDevice","deviceId":"66a86b57-b292-3957-9fc9-4041d5e1f841","deviceName":"Oculus Pacific","deviceType":"vr","showLoginCode":true}

हम इसका उत्तर देते हैं:

 {"command":"addDevice","deviceId":"66a86b57-b292-3957-9fc9-4041d5e1f841","deviceName":"Oculus Pacific","deviceType":"vr","showLoginCode":true}

और उसके बाद, चश्मे के साथ स्काईबॉक्स में हम अपने स्टीरियोपी को देखेंगे। अगला अनुरोधों का एक गुच्छा होगा जिसके लिए आपको उत्तर भेजने की आवश्यकता है। उदाहरण के लिए, प्लेलिस्ट की सामग्री।

स्काईबॉक्स के लिए प्लेलिस्ट उदाहरण

[{आईडी: 'लिवस्ट्रीम-आरटीएसपी'
नाम: 'लाइव स्ट्रीम RTSP',
अवधि: 0,
आकार: 0,
url: 'rtsp: //192.168.1.51: 554 / h264',
थंबनेल: 'http://192.168.1.51/thumbnail/livestream.png',
थंबनेलपद: 186,
थंबनेलहाइट: 120,
अंतिम बार संशोधित: 1,
DefaultVRSetting: 1,
userVRSetting: 2,
चौड़ाई: 1280,
ऊंचाई: 720,
ओरिएंटडेग्री: '0',
उपशीर्षक: [],
ratioTypeFor2DScreen: 'डिफ़ॉल्ट',
रोटेशनफ़ॉर्म 2 स्क्रीन: 0,
मौजूद: सच
isBadMedia: गलत,
अतिरिक्त समय: 1},
{आईडी: 'लाइवस्ट्रीम-एमपीईजी'
नाम: 'लाइव स्ट्रीम एमपीईजी-टीएस',
अवधि: 0,
आकार: 0,
url: 'udp: // @: 3001',
थंबनेल: 'http://192.168.1.51/thumbnail/livestream.png',
थंबनेलपद: 186,
थंबनेलहाइट: 120,
अंतिम बार संशोधित: 1,
DefaultVRSetting: 1,
userVRSetting: 2,
चौड़ाई: 1280,
ऊंचाई: 720,
ओरिएंटडेग्री: '0',
उपशीर्षक: [],
ratioTypeFor2DScreen: 'डिफ़ॉल्ट',
रोटेशनफ़ॉर्म 2 स्क्रीन: 0,
मौजूद: सच
isBadMedia: गलत,
अतिरिक्त समय: 1}]

यह विशेष रूप से दिलचस्प है प्लेलिस्ट में जो कि विंडोज एप्लिकेशन बनाता है, प्रतिष्ठित संक्षिप्त नाम आरटीएसपी की खोज की गई थी। यह पता चला कि सर्वर एप्लिकेशन आरटीएसपी के माध्यम से वीडियो फ़ाइलों को स्ट्रीम करता है, जो पहले से ही लाइव वीडियो स्ट्रीमिंग के लिए उपयुक्त है, जिसे हमें, निश्चित रूप से, आवश्यकता है। अधिक सटीक रूप से, यह पता चला कि प्लेलिस्ट में "आरटीएसपी" है, लेकिन वीडियो फ़ाइलों के लिंक नियमित रूप से http हैं। यानी सर्वर एप्लिकेशन अभी भी HTTP के माध्यम से फाइल भेजता है, लेकिन यह हमें सूट नहीं करता है। इस बिंदु पर, मैं पहले से ही परेशान था, लेकिन मैंने सोचा, क्यों न एक प्रारूप में प्लेलिस्ट में एक लिंक देने की कोशिश की जाए जिसमें वीएलसी आमतौर पर समझता हो, अर्थात्। rtsp: //192.168.1.51: 554 / h264 और चीयर्स, स्काईबॉक्स ने RTSP सर्वर से स्टीरियो में वीडियो स्ट्रीम खेलना शुरू किया। देरी बहुत बड़ी है, 20 सेकंड, इसलिए उठा रहा है। हम MPEG-TS को UDP स्ट्रीम खिलाने की कोशिश कर रहे हैं। फिर, VLC आमतौर पर इसे लिंक udp: // @: 3001 का उपयोग करके खाता है, Skybox के लिए मैंने उसी तरह निर्दिष्ट करने का प्रयास किया। फिर यह केवल एमपीईजी-टीएस स्ट्रीम को चश्मे के मेजबान और निर्दिष्ट यूडीपी पोर्ट को निर्देशित करने के लिए रहता है। GStreamer इसके लिए शामिल है:

 raspivid -3d sbs -w 1280 -h 720 -o - | gst-launch-1.0 -q fdsrc ! h264parse ! mpegtsmux alignment=7 name=muxer ! rndbuffersize max=1316 min=1316 ! multiudpsink clients="192.168.1.60:3001" sync=false

स्काईबॉक्स में, हम "लाइव स्ट्रीम एमपीईजी-टीएस" प्लेलिस्ट तत्व और वॉइला पर क्लिक करते हैं, हम एक आभासी सिनेमा में बड़े स्क्रीन पर लाइव एमपीईजी-टीएस स्ट्रीम देखते हैं। देरी RTSP के साथ तुलना में बहुत कम है, 2-3 सेकंड, लेकिन अभी भी मेरे साधारण आवेदन की तुलना में बहुत अधिक है जो UDP पर एक कच्ची H264 स्ट्रीम प्राप्त करता है (720p रिज़ॉल्यूशन में आमतौर पर 100-150 एमएस की देरी होती है)।

फिर मैं एक मृत अंत में भाग गया, अब तक मैं देरी को कम करने में सफल नहीं हुआ हूं। शायद आपको स्काईबॉक्स में बफ़रिंग को अक्षम करने की आवश्यकता है, मैं डेवलपर्स को लिखने की कोशिश करूंगा, शायद वे विकल्प "बफ़रिंग अक्षम कर रहे हैं ..."

निष्कर्ष में

सामान्य तौर पर, अगर किसी कारणवश आपको अचानक ओकुलि या अन्य वीआर ग्लास (स्काईबॉक्स जैसे कई प्लेटफार्मों पर उपलब्ध है) में लाइव वीडियो स्ट्रीम देखने की आवश्यकता है - तो आप मेरे द्वारा बताए गए तरीके की कोशिश कर सकते हैं। मुझे नहीं पता कि यह अन्य स्टीरियो कैमरों के साथ काम करेगा, लेकिन स्टीरियोपीई के द्वारा इसकी जाँच की गई है, यह हल करता है।

संदर्भ

स्काईबॉक्स के लिए सर्वर स्रोत
चर्चा के साथ मंच सूत्र

आप सभी को धन्यवाद, सभी लोग स्वतंत्र हैं।

अरे हाँ, मैं लगभग भूल गया था। यदि अचानक कोई ऑक्यूलस के लिए मूल एप्लिकेशन के साथ मदद कर सकता है (ताकि यह स्काईबॉक्स जैसा दिखता है) - एक व्यक्तिगत संदेश में लिखें, हम विवरणों पर चर्चा करेंगे।

वीआर चश्मे के लिए स्टीरियो वीडियो की लाइव स्ट्रीमिंग (ओकुलस गो)

निष्कर्ष में

संदर्भ

More articles: