मोनो-चैनल ऑडियो ट्रैक पर बीनाउरल ध्वनि कैसे उत्पन्न करें - वीडियो मदद करेगा

ऑस्टिन में टेक्सास विश्वविद्यालय (यूटी ऑस्टिन) के विशेषज्ञों ने एक तंत्रिका नेटवर्क विकसित किया है जो वीडियो पर मोनो-चैनल ऑडियो रिकॉर्डिंग की प्रक्रिया करता है और इसकी "सराउंड" ध्वनि को फिर से बनाता है।

हम बताते हैं कि यह कैसे काम करता है।


मार्नीजिल / सीसी बाय-एसए द्वारा फोटो

नई 3 डी ध्वनि निर्माण विधि

सराउंड साउंड अक्सर गेम या फिल्मों में पाया जाता है, लेकिन 3 डी ध्वनि वेब पर सशर्त वीडियो में दुर्लभ है। इसे रिकॉर्ड करने के लिए महंगे उपकरणों की आवश्यकता होती है जो वीडियो के रचनाकारों के लिए हमेशा उपलब्ध नहीं होते हैं - अक्सर केवल स्मार्टफोन का उपयोग शूटिंग के लिए किया जाता है।

इस तरह से रिकॉर्ड किया गया एक ऑडियो ट्रैक वीडियो के बारे में हमारी धारणा को सीमित करता है: यह यह बताने में सक्षम नहीं है कि ध्वनि स्रोत अंतरिक्ष में कैसे स्थित हैं और वे कैसे चलते हैं। इस वजह से, वीडियो की आवाज़ "सपाट" महसूस हो सकती है।

UT ऑस्टिन एक विश्वविद्यालय के प्रोफेसर, क्रिस्टन ग्रूमन और एक छात्र, रूहान गाओ द्वारा निपटा गया था। उन्होंने मशीन लर्निंग एल्गोरिदम पर आधारित एक सिस्टम बनाया, जो मोनो-चैनल ऑडियो रिकॉर्डिंग को "सराउंड" वीडियो रिकॉर्डिंग में बदलना संभव बनाता है। तकनीक को "2.5D विज़ुअल साउंड" कहा जाता है।

यह एक पूर्ण स्थानिक ध्वनि नहीं है, लेकिन "मॉडलिंग" है। हालांकि, डेवलपर्स के अनुसार, औसत श्रोता के लिए अंतर लगभग अगोचर होगा।

तकनीक कैसे काम करती है

UT ऑस्टिन में विकसित प्रणाली दो तंत्रिका नेटवर्क का उपयोग करती है।

पहला न्यूरल नेटवर्क ResNet आर्किटेक्चर के आधार पर बनाया गया था, जिसे 2015 में Microsoft के शोधकर्ताओं द्वारा पेश किया गया था। यह वीडियो में वस्तुओं को पहचानता है और फ्रेम में उनके आंदोलन के बारे में जानकारी एकत्र करता है। आउटपुट पर, नेटवर्क वीडियो के प्रत्येक फ्रेम पर ऑब्जेक्ट्स के निर्देशांक के साथ, फीचर मैप नामक एक मैट्रिक्स उत्पन्न करता है।

यह जानकारी दूसरे न्यूरल नेटवर्क - मोनोऑनबिनाल को प्रेषित की जाती है। इसे टेक्सास विश्वविद्यालय में विकसित किया गया था। नेटवर्क भी हनो फंक्शन का उपयोग करते हुए विंडो फूरियर रूपांतरण का उपयोग करके प्राप्त ऑडियो रिकॉर्डिंग के स्पेक्ट्रोग्राम प्राप्त करता है ।

Mono2Binaural में दस दृढ़ परतें होती हैं। नेटवर्क में इन परतों में से प्रत्येक के बाद, एक बैच सामान्यीकरण ब्लॉक होता है, जो एल्गोरिथ्म पूर्वानुमान की सटीकता, और ReLU सक्रियण फ़ंक्शन के साथ एक रैखिक आयतन ब्लॉक को बढ़ाता है ।

तंत्रिका नेटवर्क की दृढ़ परतें स्पेक्ट्रोग्राम में आवृत्ति परिवर्तनों का विश्लेषण करती हैं और मैट्रिक्स की रचना करती हैं जिसमें जानकारी होती है कि स्पेक्ट्रोग्राम का कौन सा हिस्सा बाएं ऑडियो चैनल से संबंधित होना चाहिए और कौन सा दाईं ओर। फिर, उलटा विंडो फूरियर रूपांतरण का उपयोग करके, एक नया ऑडियो रिकॉर्डिंग उत्पन्न होता है।

एक ही समय में, Mono2Binaural अलग-अलग वीडियो में प्रत्येक ऑब्जेक्ट के लिए स्थानिक ध्वनि को पुन: उत्पन्न कर सकता है। उदाहरण के लिए, एक तंत्रिका नेटवर्क एक वीडियो में दो उपकरणों को पहचान सकता है - एक ड्रम और एक पाइप - और उनमें से प्रत्येक के लिए एक अलग ध्वनि ट्रैक बनाएं।

"2.5D विजुअल साउंड" पर राय

खुद डेवलपर्स के अनुसार, वे एक ऐसी तकनीक बनाने में कामयाब रहे जो "यथार्थवादी स्थानिक अनुभूति" को पुन: बनाता है। Mono2Binaural ने परीक्षण के दौरान एक अच्छा परिणाम दिखाया, और इसलिए लेखकों को यकीन है कि उनकी परियोजना में काफी संभावनाएं हैं।

अपनी तकनीक की प्रभावशीलता को साबित करने के लिए, विशेषज्ञों ने कई प्रयोग किए। उन्होंने ऐसे लोगों के एक समूह को आमंत्रित किया, जिन्होंने दो ट्रैक्स की आवाज़ की तुलना की: एक का निर्माण मोनू 2 बिन्यूरल का उपयोग करके किया गया था, और दूसरा एंबिसनिक्स पद्धति का उपयोग करके।

बाद में सैन डिएगो में कैलिफोर्निया विश्वविद्यालय में विकसित किया गया था। यह विधि मोनोसाउंड से "सराउंड" ऑडियो भी बनाती है, लेकिन, नई तकनीक के विपरीत, यह केवल 360-डिग्री वीडियो के साथ काम करता है।

अधिकांश श्रोताओं ने वास्तविक ध्वनि के सबसे निकट के रूप में मोनो 2 बाइनरियल ऑडियो चुना। परीक्षण से यह भी पता चला कि 60% मामलों में, उपयोगकर्ताओं ने कान से ध्वनि स्रोत के स्थान की सही पहचान की।

एल्गोरिथ्म में अभी भी कुछ नुकसान हैं। उदाहरण के लिए, एक तंत्रिका नेटवर्क बड़ी संख्या में वस्तुओं की आवाज़ के बीच अंतर नहीं करता है। प्लस, स्पष्ट रूप से, वह ध्वनि स्रोत की स्थिति निर्धारित करने में सक्षम नहीं होगा, जो वीडियो पर नहीं है। हालांकि, डेवलपर्स ने इन समस्याओं को हल करने की योजना बनाई है।

प्रौद्योगिकी एनालॉग्स

वीडियो ध्वनि मान्यता के क्षेत्र में, कई समान परियोजनाएं हैं। हमने उनमें से एक के बारे में पहले लिखा था। यह एमआईटी के विशेषज्ञों का एक " दृश्य माइक्रोफोन " है। उनका एल्गोरिथ्म एक मूक वीडियो पर ध्वनिक तरंगों के प्रभाव में वस्तुओं के सूक्ष्म कंपन को पहचानता है और इन आंकड़ों के आधार पर कमरे में सुनाई देने वाली ध्वनि को पुनर्स्थापित करता है। वैज्ञानिक मैरी के हैड लिटिल लैम्ब को गाने, चिप्स, घरेलू पौधों और यहां तक ​​कि ईंटों के एक पैकेट से "पढ़ने" में सक्षम थे।


फोटो क्विन डोम्ब्रोव्स्की / सीसी बाय-एसए

अन्य परियोजनाएं 360-डिग्री वीडियो में ध्वनि रिकॉर्ड करने के लिए प्रौद्योगिकियां विकसित कर रही हैं। उनमें से एक एंबिसन है, जिसका उल्लेख हमने पहले किया था। एल्गोरिथ्म का सिद्धांत Mono2Binaural के समान है: यह फ्रेम में वस्तुओं की गति का विश्लेषण करता है और ध्वनि में परिवर्तन के साथ उन्हें सहसंबंधित करता है। हालांकि, एंबिसन तकनीक में कई सीमाएँ हैं: तंत्रिका नेटवर्क केवल 360-डिग्री वीडियो के साथ काम करता है और रिकॉर्डिंग पर एक प्रतिध्वनि होने पर ध्वनि का अच्छी तरह से उत्सर्जन नहीं करता है।

इस क्षेत्र में एक अन्य परियोजना जी-ऑडियो से सोल वीआर 360 है। अन्य विकासों के विपरीत, प्रौद्योगिकी को पहले ही सोल साउंड प्रोसेसिंग के लिए उपयोगकर्ता सेवा में लागू किया गया है। यह संगीत कार्यक्रमों या खेलों से 360-डिग्री वीडियो के लिए स्थानिक ऑडियो बनाता है। सेवा का नुकसान यह है कि उत्पन्न क्लिप केवल सोल अनुप्रयोगों में खेले जाते हैं।

निष्कर्ष

स्थानिक ध्वनि बनाने के लिए सिस्टम के डेवलपर्स वीआर और एआर में प्रौद्योगिकी के अनुप्रयोग का मुख्य क्षेत्र देखते हैं, जो किसी गेम या फिल्म के वातावरण में किसी व्यक्ति के अधिकतम विसर्जन के लिए होता है। यदि उनके सामने आने वाली कई कठिनाइयों को दूर करना संभव है, तो प्रौद्योगिकी का उपयोग दृष्टिबाधित लोगों की सहायता के लिए भी किया जा सकता है। ऐसी प्रणालियों की मदद से, वे वीडियो पर फ्रेम में क्या हो रहा है, अधिक विस्तार से समझ पाएंगे।

---

हमारे टेलीग्राम चैनल में ऑडियो तकनीक के बारे में अधिक जानकारी:

इनसाइट ने पहली बार मार्टियन पवन की आवाज़ रिकॉर्ड की
2019 में TECnology हॉल ऑफ फ़ेम में प्रवेश करने वाली आठ ऑडियो प्रौद्योगिकियाँ
खिड़कियों को रद्द करने वाले सक्रिय शोर ने महानगर की आवाज़ को बाहर निकाल दिया

---