हम कंप्यूटर को ध्वनियों में अंतर करना सिखाते हैं: 30 मिनट में DCASE प्रतियोगिता और अपने ऑडियो क्लासिफायर को असेंबल करना जानना

यह लेख एनानस्केली के साथ मिलकर लिखा गया था।

परिचय

सभी को नमस्कार, Habr! सेंट पीटर्सबर्ग में सेंटर फॉर स्पीच टेक्नोलॉजी में काम करते हुए, हमने ध्वनिक घटनाओं के वर्गीकरण और पहचान की समस्याओं को हल करने में थोड़ा अनुभव प्राप्त किया है और फैसला किया है कि हम इसे आपके साथ साझा करने के लिए तैयार हैं। इस लेख का उद्देश्य आपको कुछ कार्यों से परिचित कराना और DCASE 2018 स्वचालित ध्वनि प्रसंस्करण प्रतियोगिता के बारे में बात करना है। आपको प्रतियोगिता के बारे में बताते हुए, हम मशीन सीखने से संबंधित जटिल सूत्रों और परिभाषाओं के बिना करेंगे, इसलिए लेख के सामान्य अर्थ को व्यापक दर्शकों द्वारा समझा जाएगा।

जो लोग क्लासिफायरियर असेंबली के लिए आकर्षित हुए थे, हमने एक छोटा अजगर कोड तैयार किया था, और जीथब पर दिए लिंक से आप एक नोटबुक पा सकते हैं, जहां डीसीएएसई प्रतियोगिता के दूसरे ट्रैक का उपयोग एक उदाहरण के रूप में किया जाता है, हम ऑडियो फाइलों को वर्गीकृत करने के लिए केरस पर एक सरल कॉन्फिडेंशियल नेटवर्क बनाते हैं। वहां हम नेटवर्क और प्रशिक्षण के लिए उपयोग की जाने वाली सुविधाओं के बारे में थोड़ी बात करते हैं, और आधार रेखा के करीब परिणाम प्राप्त करने के लिए एक साधारण वास्तुकला का उपयोग कैसे करें ( MAP @ 3 = 0.6)।

इसके अतिरिक्त, आयोजकों द्वारा प्रस्तावित समस्याओं (आधार रेखा) को हल करने के बुनियादी तरीकों का वर्णन किया जाएगा। साथ ही भविष्य में कई लेख होंगे जहां हम अधिक विस्तार से और प्रतियोगिता में भाग लेने के हमारे अनुभव के बारे में और प्रतियोगिता में अन्य प्रतिभागियों द्वारा प्रस्तावित समाधानों के बारे में विस्तार से बात करेंगे। इन लेखों के लिंक धीरे-धीरे यहां दिखाई देंगे।

निश्चित रूप से, बहुत से लोगों को "DCASE" के बारे में कुछ भी पता नहीं है, तो आइए जानें कि यह किस तरह का फल है और इसके साथ क्या खाया जाता है। " DCASE " प्रतियोगिता सालाना आयोजित की जाती है, और हर साल कई कार्य ऑडियो रिकॉर्डिंग के वर्गीकरण और ध्वनिक घटनाओं का पता लगाने के क्षेत्र में समस्याओं को हल करने के लिए समर्पित होते हैं। प्रतियोगिता में कोई भी हिस्सा ले सकता है, यह मुफ़्त है, इसके लिए बस प्रतिभागी के रूप में साइट पर पंजीकरण करना पर्याप्त है। प्रतियोगिता के परिणामस्वरूप, समान विषयों पर एक सम्मेलन आयोजित किया जाता है, लेकिन प्रतियोगिता के विपरीत, इसमें भागीदारी पहले से ही भुगतान की जाती है, और हम इसके बारे में अब बात नहीं करेंगे। सर्वश्रेष्ठ निर्णयों के लिए पुरस्कार आमतौर पर निर्भर नहीं होते हैं, लेकिन अपवाद हैं (उदाहरण के लिए, 2018 में तीसरा कार्य)। इस वर्ष, आयोजकों ने निम्नलिखित 5 कार्य प्रस्तावित किए:

1. ध्वनिक दृश्यों का वर्गीकरण (3 उपशीर्षकों में विभाजित)
   ए। प्रशिक्षण और परीक्षण डेटा सेट एक ही डिवाइस पर दर्ज किए गए
   विभिन्न उपकरणों पर दर्ज बी। प्रशिक्षण और परीक्षण डेटा सेट
   सी। आयोजकों द्वारा प्रदान नहीं किए गए डेटा का उपयोग करके प्रशिक्षण की अनुमति है
2. ध्वनिक घटनाओं का वर्गीकरण
3. पक्षी गायन का पता लगाने
4. कमजोर लेबल वाले डेटा सेट का उपयोग करके घर में ध्वनिक घटनाओं का पता लगाना
5. मल्टी-चैनल रिकॉर्डिंग के अनुसार कमरे में घरेलू गतिविधि का वर्गीकरण

पता लगाने और वर्गीकरण के बारे में

जैसा कि हम देख सकते हैं, सभी कार्यों के नामों में दो शब्दों में से एक होता है: "पता लगाना" या "वर्गीकरण"। आइए स्पष्ट करें कि इन अवधारणाओं के बीच अंतर क्या है ताकि कोई भ्रम न हो।

कल्पना कीजिए कि हमारे पास एक ऑडियो रिकॉर्डिंग है, जिस पर एक समय में एक कुत्ता भौंकता है, और एक बिल्ली दूसरे पर गिरती है, और वहां कोई भी घटना नहीं होती है। फिर अगर हम इन घटनाओं के होने पर ठीक से समझना चाहते हैं, तो हमें एक ध्वनिक घटना का पता लगाने की समस्या को हल करने की आवश्यकता है। यही है, हमें प्रत्येक घटना के लिए शुरुआत और अंत समय का पता लगाने की आवश्यकता है। पता लगाने की समस्या को हल करने के बाद, हमें पता चलता है कि घटनाएँ कब होती हैं, लेकिन हम यह नहीं जानते हैं कि वास्तव में ध्वनियाँ कौन बनाता है - फिर हमें वर्गीकरण समस्या को हल करने की ज़रूरत है, यानी यह निर्धारित करने के लिए कि किसी निश्चित समय अवधि में क्या हुआ।

प्रतियोगिता के कार्यों के विवरण को समझने के लिए, ये उदाहरण काफी पर्याप्त होंगे, जिसका अर्थ है कि परिचयात्मक भाग पूरा हो गया है, और हम स्वयं कार्यों के विस्तृत विवरण के लिए आगे बढ़ सकते हैं।

ट्रैक 1. ध्वनिक दृश्यों का वर्गीकरण

पहला कार्य पर्यावरण (ध्वनिक दृश्य) को निर्धारित करना है जिसमें ऑडियो रिकॉर्ड किया गया था, उदाहरण के लिए, "मेट्रो स्टेशन", "एयरपोर्ट" या "पैदल यात्री स्ट्रीट"। इस समस्या का समाधान एक कृत्रिम बुद्धि प्रणाली के साथ पर्यावरण का आकलन करने में उपयोगी हो सकता है, उदाहरण के लिए, ऑटोपायलट वाली कारों में।

इस कार्य में, टुट अर्बन एकॉस्टिक सीन्स 2018 और टुट अर्बन एकॉस्टिक सीन्स 2018 मोबाइल डेटासेट, जो टैम्पियर यूनिवर्सिटी ऑफ टेक्नोलॉजी (फिनलैंड) द्वारा तैयार किए गए थे, को प्रशिक्षण के लिए प्रस्तुत किया गया था। डेटासेट, साथ ही साथ मूल समाधान की तैयारी का विस्तृत विवरण लेख में वर्णित है।

कुल मिलाकर, प्रतियोगिता के लिए 10 ध्वनिक दृश्य प्रस्तुत किए गए, जिनकी प्रतिभागियों को भविष्यवाणी करनी थी।

घटाव A

जैसा कि हमने पहले ही कहा था, कार्य 3 उप-प्रकारों में विभाजित है, जिनमें से प्रत्येक ऑडियो रिकॉर्डिंग की गुणवत्ता में भिन्न है। उदाहरण के लिए, उपशीर्षक ए में, रिकॉर्डिंग के लिए विशेष माइक्रोफोन का उपयोग किया गया था, जो मानव कानों में स्थित थे। इस प्रकार, स्टीरियो रिकॉर्डिंग को ध्वनि की मानवीय धारणा के करीब बनाया गया था। ध्वनिक दृश्य की पहचान की गुणवत्ता में सुधार के लिए प्रतिभागियों को रिकॉर्डिंग के लिए इस दृष्टिकोण का उपयोग करने का अवसर दिया गया था।

सबटास्क बी

उपशीर्षक बी में, अन्य उपकरणों (उदाहरण के लिए, मोबाइल फोन) का उपयोग रिकॉर्डिंग के लिए भी किया गया था। सबटस्क ए से डेटा को मोनो प्रारूप में बदल दिया गया था, नमूना आवृत्ति कम हो गई थी, इस कार्य के लिए निर्धारित डेटा में किसी व्यक्ति द्वारा ध्वनि की "श्रव्यता" का कोई सिमुलेशन नहीं है, लेकिन प्रशिक्षण के लिए अधिक डेटा है।

उपशीर्षक सी

सबटास्क सी के लिए निर्धारित डेटा उपमा ए की तरह ही है, लेकिन इस समस्या को हल करने के लिए किसी भी बाहरी डेटा का उपयोग करने की अनुमति है जो प्रतिभागी पा सकते हैं। इस समस्या को हल करने का लक्ष्य यह पता लगाना है कि क्या तीसरे पक्ष के डेटा का उपयोग करके उप-ए में प्राप्त परिणाम में सुधार करना संभव है।

इस ट्रैक के निर्णयों की गुणवत्ता का मूल्यांकन एक्यूरेसी मेट्रिक द्वारा किया गया था।

इस कार्य के लिए आधार रेखा एक दो-परत वाला दृढ़ तंत्रिका नेटवर्क है जो मूल ऑडियो डेटा के छोटे स्पेक्ट्रोग्राम के लघुगणक से सीखता है। प्रस्तावित वास्तुकला मानक बैचनिरीकरण और ड्रॉपआउट तकनीकों का उपयोग करता है। GitHub पर कोड यहाँ देखा जा सकता है ।

ट्रैक 2. ध्वनिक घटनाओं का वर्गीकरण

इस कार्य में, एक ऐसी प्रणाली बनाने का प्रस्ताव है जो ध्वनिक घटनाओं को वर्गीकृत करता है। इस तरह की प्रणाली स्मार्ट घरों के लिए एक अतिरिक्त हो सकती है, भीड़-भाड़ वाली जगहों पर सुरक्षा बढ़ा सकती है, या श्रवण दोष वाले लोगों के लिए जीवन को आसान बना सकती है।

इस कार्य के लिए डेटासेट में Freesound डेटासेट से ली गई फाइलें हैं और Google के AudioSet से टैग का उपयोग करके टैग किया गया है। अधिक विवरण में, डेटासेट तैयार करने की प्रक्रिया को प्रतियोगिता के आयोजकों द्वारा तैयार किए गए एक लेख द्वारा वर्णित किया गया है।

आइए कार्य पर वापस जाएं, जिसमें कई विशेषताएं हैं।

सबसे पहले, प्रतिभागियों को एक बहुत ही अलग प्रकृति की ध्वनिक घटनाओं के बीच अंतर की पहचान करने में सक्षम एक मॉडल बनाना था। डेटा सेट को कक्षा 41 में विभाजित किया गया है, यह विभिन्न संगीत वाद्ययंत्र, मानव, जानवरों, घरेलू ध्वनियों और अन्य द्वारा बनाई गई ध्वनियों को प्रस्तुत करता है।

दूसरे, डेटा के सामान्य मार्कअप के अलावा, मैन्युअल रूप से लेबल की जांच करने के बारे में अतिरिक्त जानकारी भी है। यही है, प्रतिभागियों को पता है कि डेटा सेट से कौन सी फाइलें लेबल के अनुपालन के लिए व्यक्ति द्वारा जांची गई थीं, और जो नहीं हैं। जैसा कि अभ्यास से पता चला है, प्रतिभागियों ने किसी तरह से इस अतिरिक्त जानकारी का उपयोग करके इस समस्या को हल करने के लिए पुरस्कार लिया।

इसके अलावा, यह कहा जाना चाहिए कि डेटा सेट में रिकॉर्ड की अवधि बहुत भिन्न होती है: 0.3 सेकंड से 30 सेकंड तक। इस समस्या में, प्रति कक्षा डेटा की मात्रा, जिस पर मॉडल को प्रशिक्षित करने की आवश्यकता होती है, भी बहुत भिन्न होती है। यह एक हिस्टोग्राम के रूप में सबसे अच्छा चित्रित किया गया है, निर्माण के लिए कोड जो यहां से लिया गया है ।

जैसा कि आप हिस्टोग्राम से देख सकते हैं, प्रस्तुत की गई कक्षाओं के लिए मैनुअल मार्कअप भी असंतुलित है, जो आपको मॉडल प्रशिक्षण के दौरान इस जानकारी का उपयोग करना चाहते हैं, तो कठिनाई बढ़ जाती है।
इस ट्रैक के परिणामों का मूल्यांकन औसत सटीकता मीट्रिक (मीन मीन परिशुद्धता, एमएपी @ 3) का उपयोग करके किया गया था, उदाहरणों और कोड के साथ इस मीट्रिक की गणना का एक काफी सरल प्रदर्शन यहां पाया जा सकता है ।

ट्रैक 3. बर्ड सिंगिंग डिटेक्शन

अगला ट्रैक बर्डसॉन्ग का पता लगाना है। इसी तरह की समस्या पैदा होती है, उदाहरण के लिए, वन्यजीवों की स्वचालित निगरानी की विभिन्न प्रणालियों में - यह प्रसंस्करण डेटा में पहला कदम है, उदाहरण के लिए, वर्गीकरण। ऐसी प्रणालियों को अक्सर ट्यूनिंग की आवश्यकता होती है, नई ध्वनिक स्थितियों के लिए अस्थिर होती हैं, इसलिए इस ट्रैक का लक्ष्य ऐसी समस्याओं को हल करने के लिए मशीन लर्निंग की शक्ति पर कॉल करना है।

यह ट्रैक 2017-2018 में लंदन के सेंट मैरी यूनिवर्सिटी द्वारा आयोजित "बर्ड ऑडियो डिटेक्शन चैलेंज" प्रतियोगिता का एक विस्तारित संस्करण है। रुचि रखने वालों के लिए , आप प्रतियोगिता के लेखकों के लेख को पढ़ सकते हैं, जो डेटा के गठन, प्रतियोगिता के संगठन और स्वयं के निर्णयों के विश्लेषण के बारे में विवरण प्रदान करता है।

हालाँकि, DCASE कार्य पर वापस। आयोजकों ने छह डेटा सेट - प्रशिक्षण के लिए तीन, परीक्षण के लिए तीन - वे सभी बहुत अलग हैं - विभिन्न ध्वनिक स्थितियों में दर्ज किए गए, विभिन्न रिकॉर्डिंग उपकरणों का उपयोग करते हुए, पृष्ठभूमि के खिलाफ विभिन्न शोर हैं। इस प्रकार, मुख्य संदेश यह है कि मॉडल को पर्यावरण पर निर्भर नहीं होना चाहिए या इसके अनुकूल नहीं होना चाहिए। इस तथ्य के बावजूद कि नाम का अर्थ "पता लगाना" है, कार्य घटना की सीमाओं को निर्धारित करने के लिए नहीं है, बल्कि एक सरल वर्गीकरण में - अंतिम समाधान एक प्रकार का बाइनरी क्लासिफायरियर है जो एक लघु ऑडियो प्रविष्टि प्राप्त करता है और निर्णय लेता है कि इस पर पक्षी गायन है या नहीं । सटीकता का मूल्यांकन करने के लिए एयूसी मीट्रिक का उपयोग किया गया था।

अधिकतर, प्रतिभागियों ने विभिन्न डेटा वृद्धि के माध्यम से सामान्यीकरण और अनुकूलन हासिल करने की कोशिश की। आदेशों में से एक विभिन्न तकनीकों के अनुप्रयोग का वर्णन करता है - निकाले गए विशेषताओं में आवृत्ति संकल्प को बदलना, प्रारंभिक शोर में कमी, विभिन्न डेटा सेट के लिए दूसरे-क्रम के आंकड़ों के संरेखण पर आधारित एक अनुकूलन विधि । हालांकि, इस तरह के तरीके, साथ ही साथ विभिन्न प्रकार के वृद्धि, मूल समाधान पर बहुत कम वृद्धि देते हैं, जैसा कि कई प्रतिभागी ध्यान देते हैं।

मूल समाधान के रूप में, लेखकों ने मूल "बर्ड ऑडियो डिटेक्शन चैलेंज" प्रतियोगिता से सबसे सफल समाधान का एक संशोधन तैयार किया। कोड, हमेशा की तरह, गिटब पर उपलब्ध है ।

ट्रैक 4. एक कमजोर लेबल डेटा सेट का उपयोग करके घर में ध्वनिक घटनाओं का पता लगाना।

चौथे ट्रैक में, पता लगाने की समस्या पहले से ही सीधे हल हो गई है। प्रतिभागियों को टैग किए गए डेटा के एक अपेक्षाकृत छोटे डेटासेट के साथ प्रदान किया गया था - केवल 10 सेकंड की कुल 1578 ऑडियो रिकॉर्डिंग, केवल वर्ग अंकन के साथ: यह ज्ञात है कि फ़ाइल में इन कक्षाओं में से एक या अधिक ईवेंट शामिल हैं, लेकिन कोई अस्थायी मार्कअप नहीं है। इसके अलावा, अनअलोकेटेड डेटा के दो बड़े डेटासेट प्रदान किए गए थे - 14412 फाइलें जिनमें एक ही कक्षाओं के लक्ष्य ईवेंट शामिल थे, जैसे कि प्रशिक्षण और परीक्षण के नमूने, साथ ही 39999 फाइलें जिनमें मनमानी घटनाओं को शामिल किया गया था, जो लक्ष्य में शामिल नहीं थीं। सभी डेटा गूगल द्वारा संकलित विशाल ऑडियोसेट डेटासेट का एक सबसेट है।

इस प्रकार, प्रतिभागियों को शुरुआत और अंत की घटनाओं (घटनाओं को ओवरलैप कर सकते हैं) के टाइमस्टैम्प को खोजने के लिए कमजोर लेबल वाले डेटा से सीखने में सक्षम एक मॉडल बनाने की आवश्यकता होती है, और इसे बड़ी मात्रा में अचिह्नित अतिरिक्त डेटा के साथ सुधारने का प्रयास करते हैं। इसके अलावा, यह ध्यान देने योग्य है कि इस ट्रैक में काफी कठोर मीट्रिक का उपयोग किया गया था - 200 एमएस की सटीकता के साथ घटनाओं के समय लेबल की भविष्यवाणी करना आवश्यक था। सामान्य तौर पर, प्रतिभागियों को पर्याप्त मॉडल बनाने के बजाय कठिन कार्य को हल करना पड़ता था, जबकि व्यावहारिक रूप से प्रशिक्षण के लिए कोई अच्छा डेटा नहीं था।
अधिकांश समाधान दृढ़ पुनरावृत्ति नेटवर्क पर आधारित थे - हाल ही में ध्वनिक घटनाओं का पता लगाने के क्षेत्र में एक काफी लोकप्रिय वास्तुकला (एक उदाहरण यहां पढ़ा जा सकता है )।

लेखकों से मूल समाधान, कंसेंटेशनल रिकर्सिव नेटवर्क पर भी, दो मॉडलों पर आधारित है। मॉडल में लगभग समान वास्तुकला है: तीन दृढ़ और एक पुनरावर्ती परत। एकमात्र अंतर आउटपुट नेटवर्क है। पहला मॉडल मूल डेटासेट का विस्तार करने के लिए बिना डेटा के चिह्नित करने के लिए प्रशिक्षित किया जाता है - इस प्रकार, आउटपुट में हमारे पास इवेंट फ़ाइल में मौजूद कक्षाएं हैं। दूसरे का पता लगाने की समस्या को सीधे हल करने के लिए है, अर्थात्, आउटपुट पर हमें फ़ाइल के लिए अस्थायी अंकन मिलता है। लिंक के लिए कोड।

ट्रैक 5. मल्टी-चैनल रिकॉर्डिंग के अनुसार कमरे में घरेलू गतिविधि का वर्गीकरण।

अंतिम ट्रैक मुख्य रूप से दूसरों से अलग था कि प्रतिभागियों को मल्टी-चैनल रिकॉर्डिंग की पेशकश की गई थी। कार्य स्वयं वर्गीकरण में था: रिकॉर्ड पर होने वाली घटनाओं के वर्ग की भविष्यवाणी करना आवश्यक है। पिछले ट्रैक के विपरीत, कार्य कुछ सरल है - यह ज्ञात है कि रिकॉर्ड में केवल एक घटना है।

डेटासेट का प्रतिनिधित्व लगभग 200 घंटों की रिकॉर्डिंग 4 माइक्रोफोन के एक रैखिक माइक्रोफोन सरणी पर किया जाता है। घटनाएँ हर तरह की रोजमर्रा की गतिविधियाँ हैं - खाना पकाना, बर्तन धोना, सामाजिक गतिविधि (फोन पर बात करना, दौरा करना और व्यक्तिगत बातचीत), आदि, किसी भी घटना की अनुपस्थिति के वर्ग पर प्रकाश डाला गया है।

ट्रैक के लेखक इस बात पर जोर देते हैं कि कार्य की स्थितियां अपेक्षाकृत सरल हैं ताकि प्रतिभागियों को मल्टीचैनल रिकॉर्डिंग से स्थानिक जानकारी के उपयोग पर सीधे ध्यान दें। प्रतिभागियों को अतिरिक्त डेटा और पूर्व-प्रशिक्षित मॉडल का उपयोग करने का अवसर भी दिया गया था। एफ 1 माप के अनुसार गुणवत्ता का मूल्यांकन किया गया था।

एक बुनियादी समाधान के रूप में, ट्रैक के लेखकों ने दो सरल परतों के साथ एक सरल दृढ़ नेटवर्क का प्रस्ताव रखा। उनके समाधान में, स्थानिक जानकारी का उपयोग नहीं किया गया था - चार माइक्रोफोन से डेटा का उपयोग स्वतंत्र रूप से प्रशिक्षण के लिए किया गया था, और परीक्षण के दौरान भविष्यवाणियां औसत थीं। विवरण और कोड लिंक पर उपलब्ध हैं।

निष्कर्ष

लेख में, हमने ध्वनिक घटनाओं का पता लगाने और DCASE जैसे प्रतियोगिता के बारे में संक्षेप में बात करने की कोशिश की। शायद वे 2019 में भाग लेने के लिए किसी को ब्याज देने में सक्षम थे - प्रतियोगिता मार्च में शुरू होती है।