कार्यक्रम को तस्वीरों के लिए यथार्थवादी ध्वनियों का चयन करना सिखाया गया था।

एक तस्वीर को देखकर, एक व्यक्ति आसानी से अनुमान लगा सकता है कि किस ध्वनि को इस फ्रेम के अनुरूप होना चाहिए।

ध्वनि ज्ञान जीवन के अनुभवों के साथ आता है। हम जीवन में विभिन्न घटनाओं का निरीक्षण करते हैं और ध्वनियों को सुनते हैं। मस्तिष्क में अनुभव के साथ एक बड़ा संग्रह जमा होता है। एक व्यक्ति स्मृति में एक त्वरित साहचर्य खोज करता है, सबसे उपयुक्त ध्वनि का चयन करता है - और एक तस्वीर का अवलोकन करके इसे पुन: पेश करता है। तस्वीरों के लिए ध्वनियों का चयन करने के लिए

लगभग एक ही सिद्धांत काम करता है और डिज़नी रिसर्च और स्विस उच्च तकनीकी स्कूल ज़्यूरिख के विशेषज्ञों द्वारा विकसित नया कार्यक्रम । सिद्धांत रूप में, कार्यक्रम के लेखकों ने विशेष रूप से ध्वनि और तस्वीर के बीच संबंध स्थापित करने की मानवीय प्रक्रिया को कॉपी करने की कोशिश की।

ध्वनियों के बारे में जानकारी न केवल वास्तविकता से प्राप्त की जा सकती है। बालवाड़ी में, सभी बच्चों को आवश्यक रूप से सिखाया जाता है कि गाय "म्यू" कहती है।

फिल्में और कंप्यूटर गेम बहुत हद तक ध्वनियों के मस्तिष्क संग्रह की भरपाई करते हैं। आखिरकार, वे अक्सर उन घटनाओं को दिखाते हैं जिनके बारे में लोगों को कोई जीवन अनुभव नहीं है। इसलिए, लगभग हर कोई जानता है कि पिस्तौल की आवाज़ से एक शॉट कैसे होता है, हालांकि कुछ लोगों ने इसे वास्तविकता में सुना है। यह माना जा सकता है कि फिल्मों / खेलों की आवाज़ किसी व्यक्ति के जीवन के लिए स्मृति में संचित सभी ध्वनियों के आधे से अधिक बनाती है।

डिज़नी रिसर्च प्रोग्राम को फुटेज द्वारा ध्वनियों के संग्रह की रचना करने के लिए भी प्रशिक्षित किया गया था। यह इतना आसान काम नहीं है, क्योंकि सिस्टम को बड़ी संख्या में बाहरी ध्वनियों को फ़िल्टर करना होगा और यह निर्धारित करना होगा कि कौन सी वस्तु किस ध्वनि से मेल खाती है।

दृश्य सामग्री की व्याख्या मशीन दृष्टि का एक महत्वपूर्ण कार्य है। हाल के वर्षों में, इस क्षेत्र में वस्तुओं के वर्गीकरण और मान्यता, विभाजन, ट्रैकिंग और 3 डी पुनर्निर्माण में कई प्रभावशाली परिणाम प्राप्त हुए हैं। लेकिन दृश्य सामग्री और ऑडियो डेटा के बीच संबंध के तंत्रिका नेटवर्क को सीखना अभी भी एक बहुत बेरोज़गार क्षेत्र है।

इस संबंध में, यह ध्यान दिया जाना चाहिए कि मानव मस्तिष्क अद्भुत चीजों में सक्षम है। उदाहरण के लिए, वह एक "उपयुक्त" ध्वनि उठा सकता है, जो सिद्धांत रूप में मौजूद नहीं हो सकता है। उदाहरण के लिए, एक बढ़ते फूल की आवाज़, हालांकि फूल, सिद्धांत रूप में, किसी भी आवाज़ का उत्सर्जन नहीं करते हैं। नए कार्यक्रम के लेखकों ने ऐसी कल्पनाओं के क्षेत्र में मानव मस्तिष्क की कार्यक्षमता को कॉपी करने के लिए निर्धारित नहीं किया है। हालांकि यह संभव है, मुझे लगता है।

ध्वनि कैसे उत्पन्न करें

किसी वस्तु के लिए ध्वनि के चयन के विकल्पों में से एक वीडियो में वस्तु की भौतिक विशेषताओं के अनुसार ध्वनि का संश्लेषण है । लेकिन इस तरह से, बहुत सीमित संख्या में वस्तुओं को आवाज दी जा सकती है।

इसके विपरीत, डिज़नी रिसर्च और ज़्यूरिख के स्विस हायर टेक्निकल स्कूल की प्रणाली ने वास्तविक वीडियो से तैयार ध्वनियों के नमूने एकत्र किए। वीडियो ऐसे वीडियो के उदाहरण दिखाता है जो प्रशिक्षण के लिए उपयोग किए गए थे।


फिर सिस्टम को बाहरी लोगों से वांछित ध्वनि को अलग करने के लिए सिखाया गया था। इस प्रक्रिया में मुख्य सिद्धांत एक वस्तु के सभी वीडियो में एक समान ध्वनि खोजना है। यह ध्वनि वस्तु की ध्वनि होगी, और बाकी सब पृष्ठभूमि शोर है।

सिस्टम द्वारा किसी विशिष्ट वस्तु के लिए उपयुक्त ध्वनि का चयन करने के बाद, तुच्छ कार्य बना रहता है, क्योंकि मशीन विजन सिस्टम के वीडियो में वस्तुओं की मान्यता पहले से ही काफी अच्छी है।

शोधकर्ताओं ने उनमें से प्रत्येक के लिए 10-20 वीडियो सैंपल के साथ 9–9 वस्तुओं पर प्रयोग किए, जिनमें से प्रत्येक के लिए 1590 s का उपयोग किया गया। आवश्यक ध्वनियों का चयन करने के लिए, kNN क्लासिफायर का उपयोग किया गया था ।



लोगों के एक सर्वेक्षण से पता चला है कि वे प्रोग्राम द्वारा फ़िल्टर की गई ध्वनियों को अनफ़िल्टर्ड ध्वनियों से बेहतर मानते हैं।

इसके लिए क्या है?

रोबोट और अन्य कृत्रिम बुद्धि प्रणालियों के आत्म-प्रशिक्षण के सबसे तार्किक कार्य के अलावा, जो मानव मस्तिष्क की कार्यक्षमता की नकल करते हैं, ग्राफिक ऑब्जेक्ट्स के लिए ध्वनि मानचित्रण कई उपयोगी मशीन दृष्टि और मल्टीमीडिया अनुप्रयोगों में उपयोगी है। उदाहरण के लिए, एक शोर ट्रक के काम को स्वचालित करने के लिए - फिल्मों और कंप्यूटर गेम में ध्वनि प्रभावों को रिकॉर्ड करने में एक विशेषज्ञ।

यह ज्ञात है कि फिल्मों की शूटिंग के दौरान, ध्वनियां बहुत अभिव्यंजक नहीं होती हैं। फिल्म की स्पष्टता में सुधार करने के लिए, ध्वनि प्रभाव को अलग से वीडियो अनुक्रम पर लागू किया जाता है। इसलिए यह बहुत अधिक शानदार और शानदार फिल्म है। इसके अलावा, शोर रद्द करने वाला दोषों को खत्म करने में मदद करता है जब वास्तविक ध्वनि वीडियो अनुक्रम से मेल नहीं खाती है। उदाहरण के लिए, जब किसी फिल्म में नायक प्रतिद्वंद्वी को कड़ी टक्कर देता है - लेकिन वास्तव में अभिनेता केवल हिट होने का नाटक करते हैं। इस मामले में, शोर रद्द करने वाला दोष को ठीक करता है, अर्थात् हड्डी की क्रंचिंग की वास्तविक आवाज़, मांस को चूमना, बहते हुए मस्तिष्क और अन्य आकर्षक प्रभाव को लागू करता है।

कार्यक्रम का एक अन्य संभावित अनुप्रयोग श्रवण दोष वाले लोगों के लिए आवाज अभिनय है। अब वे न केवल आस-पास की आवाज़ सुन सकते हैं, बल्कि उन्हें सबसे अच्छी गुणवत्ता, रसदार, अनावश्यक शोर के बिना सुन सकते हैं - जैसे कि एक फिल्म में। श्रवण दोष के बिना साधारण लोग विकलांगों से भी ईर्ष्या करेंगे, क्योंकि एक पैर वाले एथलीट पूरी तरह से कानूनी रूप से ईर्ष्या करते हैं , जिनके पास प्रतिस्पर्धात्मक लाभ है - अधिक उन्नत बायोनिक कृत्रिम अंग, ताकि वे बहुत तेज़ी से दौड़ें और आसानी से एक-पैर वाले (और दो-पैर वाले) एथलीटों को भी हरा सकें।

मनोरंजन उद्योग में ऐसी संवर्धित वास्तविकता प्रौद्योगिकियों की मांग होने की संभावना है, जिसमें एक व्यक्ति कंप्यूटर इंटरफ़ेस के माध्यम से आसपास की वास्तविकता को मानता है। अंत में, हम अपने आसपास की दुनिया के अनावश्यक लोगों को ब्लॉक करने में सक्षम होंगे (जैसा कि ब्लैक मिरर श्रृंखला में)। सिस्टम बस उनकी आवाज की आवाज को फिल्टर करेगा। इसे दूसरे, अनुमत ध्वनि से बदलें। अवरुद्ध व्यक्ति की छवि को संबंधित ध्वनियों की पीढ़ी के साथ किसी अन्य ऑब्जेक्ट द्वारा प्रतिस्थापित किया जाएगा। वैकल्पिक रूप से, आप कार्यालय में सहकर्मियों की आवाज और रिश्तेदारों को अधिक सुखद आवाज के लिए बदल सकते हैं। उदाहरण के लिए, एक दोस्त की आवाज़ को शाम के प्यार के दौरान यौन सर्वनाम में बदला जा सकता है, लापता आवाज़ें जोड़ सकता है, आदि।

Source: https://habr.com/ru/post/hi399317/