एआई फुटेज में यथार्थवादी ध्वनियों को उत्पन्न करता है

मैसाचुसेट्स इंस्टीट्यूट ऑफ कंप्यूटर साइंस एंड आर्टिफिशियल इंटेलिजेंस लैबोरेटरी (CSAIL) के कर्मचारियों और Google रिसर्च ने एक न्यूरल नेटवर्क तैयार किया है, जिसने मनमाने वीडियो अनुक्रमों को गाना सीखा है , यथार्थवादी आवाज़ें पैदा की हैं और वस्तुओं के गुणों की भविष्यवाणी की है। कार्यक्रम वीडियो का विश्लेषण करता है, वस्तुओं, उनके आंदोलन और संपर्क के प्रकार को पहचानता है - झटका, स्लाइडिंग, घर्षण और इसी तरह। इस जानकारी के आधार पर, यह ध्वनि उत्पन्न करता है कि 40% मामलों में एक व्यक्ति वास्तविक से अधिक यथार्थवादी मानता है।

वैज्ञानिकों का सुझाव है कि ध्वनि के बिना वीडियो अनुक्रम से ध्वनि प्रभाव उत्पन्न करने के लिए सिनेमा और टेलीविजन पर इस विकास का व्यापक रूप से उपयोग किया जाएगा। इसके अलावा, रोबोट को दुनिया के गुणों को बेहतर ढंग से समझने के लिए प्रशिक्षण के लिए उपयोगी हो सकता है।



परिवेश की आवाज़ें आसपास की वस्तुओं के गुणों के बारे में बहुत कुछ कहती हैं, इसलिए स्व-सीखने की प्रक्रिया में, भविष्य के रोबोट बच्चों की तरह काम कर सकते हैं - वस्तुओं को स्पर्श करें, उन्हें स्पर्श करके देखें, उनमें एक छड़ी डालें, स्थानांतरित करने, उठाने की कोशिश करें। इस मामले में, रोबोट प्रतिक्रिया प्राप्त करता है, वस्तु के गुणों को पहचानता है - इसका वजन, लोच और इसी तरह।

किसी वस्तु के संपर्क में बनी ध्वनि भी वस्तु के गुणों के बारे में महत्वपूर्ण जानकारी देती है। "जब आप अपनी उंगली को शराब के गिलास के पार खिसकाते हैं, तो आपके द्वारा की जाने वाली ध्वनि ग्लास में डाली गई तरल की मात्रा से मेल खाती है," स्नातक छात्र एंड्रयू ओवेन्स , एक प्रकाशित वैज्ञानिक पेपर के प्रमुख लेखक बताते हैं , जो अभी तक एक वैज्ञानिक पत्रिका के लिए तैयार नहीं है, लेकिन प्रकाशितसार्वजनिक रूप से arXiv.org पर उपलब्ध है। वैज्ञानिक कार्य की प्रस्तुति इस महीने लास वेगास में मशीन विजन और पैटर्न रिकग्निशन (सीवीपीआर) पर वार्षिक सम्मेलन में होगी।

वैज्ञानिकों ने 977 वीडियो का चयन किया है जिसमें लोग आसपास की वस्तुओं के साथ विभिन्न सामग्रियों से मिलकर क्रिया करते हैं: खरोंच, उन्हें छड़ी से पीटना आदि। कुल मिलाकर, वीडियो में 46,577 क्रियाएं थीं। CSAIL के छात्रों ने सभी कार्यों को मैन्युअल रूप से चिह्नित किया है, जिसमें सामग्री का प्रकार, संपर्क का स्थान, कार्रवाई का प्रकार (शॉक / स्क्रैचिंग / अन्य) और सामग्री या वस्तु (प्रतिक्रिया, स्थिर आकार, कठोर आंदोलन, आदि) की प्रतिक्रिया का प्रकार दर्शाया गया है। ध्वनि के साथ वीडियो का उपयोग तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए किया गया था, और मैन्युअल रूप से रखे गए टैग का उपयोग केवल तंत्रिका नेटवर्क के प्रशिक्षण के परिणाम का विश्लेषण करने के लिए किया गया था, लेकिन इसे प्रशिक्षित करने के लिए नहीं।



तंत्रिका नेटवर्क ने ध्वनि की विशेषताओं का विश्लेषण किया जो प्रत्येक प्रकार की वस्तुओं के साथ बातचीत से मेल खाती है - वॉल्यूम, पिच और अन्य विशेषताओं। प्रशिक्षण के दौरान, सिस्टम ने फ्रेम द्वारा वीडियो फ्रेम का अध्ययन किया, इस फ्रेम में ध्वनि का विश्लेषण किया और पहले से ही संचित डेटाबेस में सबसे समान ध्वनि के साथ एक मैच पाया। सबसे महत्वपूर्ण बात यह थी कि तंत्रिका नेटवर्क को फ़्रेम में ध्वनि को फैलाने के लिए सिखाया जाता था।



प्रत्येक नए वीडियो के साथ, ध्वनियों की भविष्यवाणी की सटीकता बढ़ गई।

विभिन्न दृश्यों के लिए तंत्रिका नेटवर्क द्वारा उत्पन्न ध्वनि, वास्तविक के साथ तुलना में।


नतीजतन, तंत्रिका नेटवर्क ने सभी बारीकियों के साथ सबसे विविध ध्वनियों की सटीक भविष्यवाणी करना सीखा: पत्थरों को खटखटाने से लेकर जंग लगी आइवी तक।

कार्नेगी यूनिवर्सिटी में रोबोटिक्स के सहायक प्रोफेसर अभिनव गुप्ता कहते हैं , "आर्टिफिशियल इंटेलिजेंस के क्षेत्र में वर्तमान दृष्टिकोण पांच इंद्रियों में से एक पर केंद्रित है: मशीन विज़न विशेषज्ञ दृश्य चित्रों का अध्ययन करते हैं, स्पीच रिकग्निशन स्पेशलिस्ट स्टडी साउंड वगैरह। " मेलॉन। "यह अध्ययन सही दिशा में एक कदम है जो सीखने की प्रक्रिया को उसी तरह से नकल करता है जैसे लोग करते हैं, अर्थात् ध्वनि और दृष्टि को एकीकृत करते हैं।"

एआई की प्रभावशीलता का परीक्षण करने के लिए, वैज्ञानिकों ने अमेज़ॅन मैकेनिकल तुर्क पर एक ऑनलाइन अध्ययन किया, जिसमें से प्रतिभागियों को किसी विशेष वीडियो की ध्वनि के लिए दो विकल्पों की तुलना करने और यह निर्धारित करने के लिए कहा गया था कि कौन सी ध्वनि वास्तविक है और कौन सी नहीं।

प्रयोग के परिणामस्वरूप, एआई 40% मामलों में लोगों को धोखा देने में कामयाब रहा । हालांकि, मंचों पर कुछ टिप्पणीकारों के अनुसार , किसी व्यक्ति को धोखा देना इतना मुश्किल नहीं है, क्योंकि दुनिया की ध्वनि तस्वीर के बारे में ज्ञान का एक महत्वपूर्ण हिस्सा आधुनिक लोगों द्वारा फीचर फिल्मों और कंप्यूटर गेम से प्राप्त होता है। फिल्मों और खेलों के लिए ध्वनि सीमा मानक नमूनों के संग्रह का उपयोग करने वाले विशेषज्ञों से बनी है। यानी हम एक ही चीज के बारे में लगातार सुनते हैं।

एक ऑनलाइन प्रयोग में, दो में से पांच मामलों में, लोगों ने सोचा कि कार्यक्रम से उत्पन्न ध्वनि वीडियो से वास्तविक ध्वनि की तुलना में अधिक यथार्थवादी थी। यथार्थवादी ध्वनियों को संश्लेषित करने के लिए अन्य तरीकों की तुलना में यह बेहतर परिणाम है।



सबसे अधिक बार, AI ने प्रतिभागियों को पत्तियों और गंदगी जैसी सामग्रियों की आवाज़ के साथ प्रयोग में धोखा दिया, क्योंकि ये आवाज़ अधिक जटिल हैं और "स्वच्छ" नहीं हैं, जैसे कि लकड़ी या धातु द्वारा।

अध्ययन के उप-उत्पाद के रूप में तंत्रिका नेटवर्क के प्रशिक्षण पर लौटते हुए, यह पाया गया कि एल्गोरिथ्म केवल अपनी ध्वनि की भविष्यवाणी करके, 67% की सटीकता के साथ नरम और कठोर सामग्रियों के बीच अंतर कर सकता है। दूसरे शब्दों में, रोबोट डामर मार्ग और उसके सामने की घास को देख सकता है - और यह निष्कर्ष निकालता है कि डामर कठोर है और घास नरम है। रोबोट को यह भविष्यवाणी की गई ध्वनि से पता चलेगा, यहां तक ​​कि डामर और घास पर भी कदम रखे बिना। फिर वह जहां चाहता है, वहां कदम रख सकता है - और डेटाबेस के साथ जांच करके अपनी भावनाओं का परीक्षण कर सकता है और यदि आवश्यक हो, तो ध्वनि नमूनों के पुस्तकालय में सुधार कर रहा है। इस तरह, भविष्य में, रोबोट अपने आसपास की दुनिया का अध्ययन और मास्टर करेंगे।

हालांकि, प्रौद्योगिकी में सुधार के लिए शोधकर्ताओं के पास अभी भी बहुत काम है। तंत्रिका नेटवर्क अब अक्सर संपर्क के सटीक क्षण में गिरने के बिना, वस्तुओं की तीव्र गति के लिए गलत है। इसके अलावा, AI केवल सीधे संपर्क के आधार पर ध्वनि उत्पन्न कर सकता है, जो वीडियो पर रिकॉर्ड किया गया है, और हमारे चारों ओर बहुत सी आवाज़ें हैं जो दृश्य संपर्क पर आधारित नहीं हैं: पेड़ों का शोर, एक कंप्यूटर में एक प्रशंसक की हास्य। एंड्रयू ओवेन्स कहते हैं , "वास्तव में अच्छा होगा कि किसी भी तरह एक ध्वनि का अनुकरण करें जो फुटेज से बहुत निकट से संबंधित नहीं है । "

Source: https://habr.com/ru/post/hi395243/