मशीन अफवाह। साउंडनेट न्यूरल नेटवर्क ने ध्वनि द्वारा वस्तुओं को पहचानने के लिए प्रशिक्षित किया

वाम: केवल ध्वनि द्वारा दृश्य और वस्तुओं को पहचानने का प्रयास। सही: एक वास्तविक ध्वनि स्रोत।

हाल ही में, तंत्रिका नेटवर्क ने वीडियो में वस्तुओं और दृश्यों की मान्यता में काफी प्रगति की है। इस तरह की उपलब्धियों को चिह्नित वस्तुओं के साथ बड़े पैमाने पर डेटासेट पर प्रशिक्षण द्वारा संभव बनाया गया है (उदाहरण के लिए, "डेटाबेस के लिए दृश्य मान्यता के लिए गहरी विशेषताओं को सीखना" देखें । एनआईपीएस, 2014)। तस्वीरों या वीडियो को देखकर, कंप्यूटर 401 दृश्यों में से एक उपयुक्त विवरण का चयन करके दृश्य को सही ढंग से निर्धारित कर सकता हैउदाहरण के लिए, एक अव्यवस्थित रसोई, एक स्टाइलिश रसोईघर, एक किशोरी का बेडरूम, आदि। लेकिन तंत्रिका नेटवर्क की आवाज़ समझने के क्षेत्र में अभी तक ऐसी प्रगति नहीं दिखाई गई है। मैसाचुसेट्स इंस्टीट्यूट ऑफ टेक्नोलॉजी के इंफोर्मेटिक्स एंड आर्टिफिशियल इंटेलिजेंस लैबोरेटरी (CSAIL) के विशेषज्ञों ने साउंडनेट मशीन लर्निंग सिस्टम को विकसित करके इस कमी को ठीक किया ।

वास्तव में, ध्वनि द्वारा एक दृश्य का पता लगाने में सक्षम होना उतना ही महत्वपूर्ण है जितना कि वीडियो द्वारा एक दृश्य का पता लगाना। अंत में, कैमरे से तस्वीर अक्सर धुंधली हो सकती है या पर्याप्त जानकारी प्रदान नहीं कर सकती है। लेकिन अगर माइक्रोफ़ोन काम करता है, तो रोबोट पहले से ही यह पता लगाने में सक्षम होगा कि वह कहाँ है।

विज्ञान के दृष्टिकोण से, साउंडनेट न्यूरल नेटवर्क को प्रशिक्षित करना एक बहुत ही महत्वपूर्ण कार्य है। CSAIL कर्मचारियों ने मशीन दृष्टि और मशीन की सुनवाई के बीच प्राकृतिक तुल्यकालन विधि का उपयोग किया, तंत्रिका नेटवर्क को पढ़ाने के लिए स्वचालित रूप से असंबद्ध वीडियो सामग्री से किसी वस्तु का ध्वनि प्रतिनिधित्व निकालने के लिए। प्रशिक्षण के लिए, हमने लगभग 2 मिलियन फ़्लिकर वीडियो (26 टीबी डेटा), साथ ही एनोटेट ध्वनियों के एक डेटाबेस - 50 श्रेणियों और लगभग 2000 नमूनों का उपयोग किया।


साउंडनेट न्यूरल नेटवर्क आर्किटेक्चर

यद्यपि तंत्रिका नेटवर्क का प्रशिक्षण दृश्य अवलोकन के तहत हुआ था, सिस्टम कम से कम तीन मानक ध्वनिक दृश्यों के वर्गीकरण के अनुसार स्टैंड-अलोन मोड में एक उत्कृष्ट परिणाम देता है, जिसके अनुसार डेवलपर्स ने इसकी जाँच की। इसके अलावा, तंत्रिका नेटवर्क के एक परीक्षण से पता चला है कि उसने स्वतंत्र रूप से कुछ दृश्यों की ध्वनियों को पहचानना सीखा था, और डेवलपर्स ने इन वस्तुओं को विशेष रूप से पहचानने के लिए उसके नमूने प्रदान नहीं किए थे। अचिह्नित वीडियो फुटेज के आधार पर, तंत्रिका नेटवर्क ने स्वयं ही जान लिया कि कौन सा दृश्य जुबिलेंट भीड़ (यह एक स्टेडियम है) और पक्षी ट्विटर (यह एक लॉन या पार्क है) की आवाज़ से मेल खाती है। इसके साथ ही, दृश्य के साथ, तंत्रिका नेटवर्क एक विशिष्ट वस्तु को पहचानता है, जो ध्वनि का स्रोत है।

वीडियो ध्वनि द्वारा वस्तुओं को पहचानने के कुछ उदाहरण दिखाता है। सबसे पहले, ध्वनि लगता है और मान्यता परिणाम प्रदर्शित होता है, और चित्र स्वयं धुंधला हो जाता है - इसलिए आप स्वयं को जांचने का प्रयास कर सकते हैं। क्या आप क्रिया के स्थान और कुछ वस्तुओं की उपस्थिति को केवल ध्वनि द्वारा समझ पाएंगे, जैसा कि तंत्रिका नेटवर्क करता है। उदाहरण के लिए, "हैप्पी बर्थडे टू यू!" गीत का सबसे अधिक अर्थ क्या है, जिसे कई लोगों ने एक साथ गाया है? सही उत्तर: वस्तु जलती हुई मोमबत्तियाँ है , दृश्य एक रेस्तरां, कैफे, बार है ।


वैज्ञानिक कार्य के लेखकों में से एक, मैसाचुसेट्स इंस्टीट्यूट ऑफ टेक्नोलॉजी में इलेक्ट्रिकल इंजीनियरिंग और कंप्यूटर साइंस के छात्र कार्ल वोंड्रिक ने कहा , "मशीन की दृष्टि इतनी अच्छी तरह से काम करने लगी है कि हम इस तकनीक को अन्य क्षेत्रों में स्थानांतरित कर सकते हैं।" - हमने कंप्यूटर दृष्टि और ध्वनि के बीच प्राकृतिक संबंध का उपयोग किया। असंबद्ध वीडियो सामग्री की भीड़ के कारण बड़े पैमाने पर हासिल करना संभव था ताकि तंत्रिका नेटवर्क ने ध्वनि को समझना सीख लिया हो।

साउंडनेट परीक्षण ध्वनि रिकॉर्डिंग के दो मानक डेटाबेस पर किया गया था, और इस तरह के कार्यक्रमों की तुलना में यह वस्तु की मान्यता के 13-15% अधिक सटीकता को दर्शाता है। ध्वनियों की 10 विभिन्न श्रेणियों के साथ सेट किए गए डेटा पर, साउंडनेट 92% की सटीकता के साथ ध्वनियों को वर्गीकृत करता है, और 50 श्रेणियों के साथ सेट किए गए डेटा पर यह 74% की सटीकता दिखाता है। तुलना के लिए, समान डेटासेट पर, लोग औसतन, 96% और 81% की मान्यता सटीकता दिखाते हैं।



यहां तक ​​कि लोग कभी-कभी ठीक-ठीक यह नहीं कह सकते कि वे क्या सुन रहे हैं। ऐसा प्रयोग स्वयं करने का प्रयास करें। किसी सहकर्मी को YouTube से एक मनमाना वीडियो शुरू करने दें - और आप मॉनिटर पर यह देखने की कोशिश नहीं करेंगे कि क्या होता है, ध्वनि कहाँ से आती है और स्क्रीन पर क्या दिखाया जाता है। हमेशा दूर से आप अनुमान लगा सकते हैं। इसलिए कृत्रिम बुद्धिमत्ता के लिए कार्य वास्तव में आसान नहीं है, लेकिन साउंडनेट ने इसे अच्छी तरह से सामना करने में कामयाब रहा।

भविष्य में, ऐसे कंप्यूटर प्रोग्राम व्यावहारिक अनुप्रयोग पा सकते हैं। उदाहरण के लिए, आपका मोबाइल फोन स्वचालित रूप से यह पहचान लेगा कि आपने सार्वजनिक स्थान पर प्रवेश किया है - सिनेमा या थियेटर और स्वचालित रूप से रिंगर वॉल्यूम को म्यूट करें। अगर फिल्म शुरू हो गई और दर्शक शांत हो गए, तो फोन अपने आप आवाज बंद कर देगा और वाइब्रेटिंग अलर्ट चालू कर देगा।

साउंड द्वारा इलाके में ओरिएंटेशन से स्वायत्त रोबोट और अन्य मशीनों के लिए नियंत्रण कार्यक्रमों में मदद मिलेगी।

सुरक्षा प्रणालियों और स्मार्ट घरों में, सिस्टम विशेष रूप से विशिष्ट ध्वनियों में स्वचालित रूप से स्वचालित रूप से प्रतिक्रिया कर सकता है। उदाहरण के लिए, एक टूटी हुई खिड़की की आवाज़। भविष्य के "स्मार्ट शहरों" में, सड़क के शोर की पहचान इसके कारणों को समझने और ध्वनि प्रदूषण से निपटने में मदद करेगी। 27 अक्टूबर, 2016 को सार्वजनिक डोमेन arXiv.org (arXiv: 1610.09001, pdf ) में

वैज्ञानिक लेख प्रकाशित किया गया था ।

Source: https://habr.com/ru/post/hi399659/