तुम क्या हो हमने मानव से बिगाड़ को कैसे प्रतिष्ठित किया - और यहां तक ​​कि जीता भी

हाल ही में, आईडी आरएंडडी वॉयस एंटीसपोफिंग चैलेंज आयोजित किया गया था , जिसका मुख्य कार्य एक एल्गोरिथ्म बनाना था जो एक संश्लेषित रिकॉर्ड (स्पूफ) से एक मानवीय आवाज को अलग कर सकता है। मैं दशा एआई में एमएल शोधकर्ता हूं और भाषण मान्यता पर बहुत काम करता हूं, इसलिए मैंने भाग लेने का फैसला किया। टीम के साथ मिलकर हमने पहला स्थान हासिल किया। कटौती के तहत, मैं ध्वनि प्रसंस्करण के लिए नए शांत दृष्टिकोणों के साथ-साथ उन कठिनाइयों और विषमताओं के बारे में बात करूंगा, जिनका हमें सामना करना पड़ा था।

98 लोगों ने प्रतियोगिता में भाग लिया - बहुत कम लोग हैं क्योंकि यह ध्वनि प्रसंस्करण के लिए एक रूसी मंच पर और यहां तक ​​कि एक डॉकटर में भी प्रतिस्पर्धा है। मैं दिमित्री डेनव्स्की, कागल मास्टर के साथ एक टीम में था, जिनसे हम मिले और एक अन्य प्रतियोगिता में दृष्टिकोण पर चर्चा करते हुए भाग लेने के लिए सहमत हुए।

कार्य

हमें स्पूफ / मानव वर्गों में विभाजित करके 5 जीबी ऑडियो फाइलें दी गई थीं, और हमें कक्षा की संभावना का अनुमान लगाना था, इसे डॉकटर में लपेटना और सर्वर पर भेजना था। समाधान 30 मिनट में काम करने और 100 एमबी से कम वजन करने वाला था। आधिकारिक जानकारी के अनुसार, किसी व्यक्ति की आवाज़ और स्वचालित रूप से उत्पन्न एक के बीच अंतर करना आवश्यक था - हालांकि व्यक्तिगत रूप से मुझे ऐसा लग रहा था कि स्पूफ क्लास में वे मामले भी शामिल हैं, जिनमें स्पीकर को माइक्रोफोन से पकड़कर ध्वनि उत्पन्न की गई थी (जैसा कि हमलावर पहचान के लिए किसी और की आवाज की रिकॉर्डिंग चुराकर करते हैं)।

मीट्रिक EER था:



हमने पहला कोड नेटवर्क से प्राप्त किया, क्योंकि आयोजकों का कोड अतिभारित था।

प्रतियोगिता

आयोजकों ने आधार रेखा और समवर्ती रूप से प्रतियोगिता की मुख्य पहेली प्रदान की। यह एक छड़ी की तरह सरल था: हम ऑडियो फाइलें लेते हैं, चाक स्पेक्ट्रोग्राम की गिनती करते हैं, मोबाइलनेट वी 2 को प्रशिक्षित करते हैं और खुद को लगभग 12 वें स्थान पर या कम जगह पाते हैं। इस वजह से, कई लोगों ने सोचा होगा कि एक दर्जन लोगों ने प्रतियोगिता में भाग लिया, लेकिन ऐसा नहीं था। प्रतियोगिता का पूरा पहला चरण, हमारी टीम इस आधार रेखा को नहीं तोड़ सकी। आदर्श रूप से समान कोड ने परिणाम को बहुत खराब कर दिया, और किसी भी सुधार (जैसे कि भारी ग्रिड और OOF भविष्यवाणियों के साथ) ने मदद की, लेकिन इसे आधार रेखा के करीब नहीं लाया।

और फिर अप्रत्याशित हुआ: प्रतियोगिता के अंत से लगभग एक सप्ताह पहले यह पता चला कि आयोजकों के मैट्रिक्स की गिनती के कार्यान्वयन में एक बग शामिल था और भविष्यवाणियों के क्रम पर निर्भर था। लगभग उसी समय, यह पाया गया कि डॉकटर कंटेनरों में आयोजकों ने कृपया इंटरनेट बंद नहीं किया, इसलिए कई ने परीक्षण नमूना डाउनलोड किया। फिर प्रतियोगिता 4 दिनों के लिए जमी हुई थी, मीट्रिक को ठीक किया, डेटा अपडेट किया, इंटरनेट बंद कर दिया और फिर से 2 सप्ताह के लिए शुरू किया। रीकाउंटिंग के बाद, हम अपने पहले सबमिशन में से 7 वें स्थान पर थे। इसने प्रतियोगिता में भाग लेने के लिए एक शक्तिशाली प्रेरणा के रूप में कार्य किया।

मॉडल की बात हो रही है

हमने चॉक स्पेक्ट्रोग्राम पर प्रशिक्षित रेसनेट जैसे कन्वेक्शन ग्रिड का इस्तेमाल किया।

1. कुल 5 ऐसे ब्लॉक थे। प्रत्येक ऐसे ब्लॉक के बाद, हमने गहन पर्यवेक्षण किया और फिल्टर की संख्या में डेढ़ गुना वृद्धि की।
2. प्रतियोगिता के दौरान, हम मिक्सअप तकनीक का अधिक कुशलता से उपयोग करने के लिए एक द्विआधारी वर्गीकरण से एक बहु-वर्ग एक में चले गए, जिसमें हम दो ध्वनियों को मिलाते हैं और उनके वर्ग लेबल को संक्षेप में प्रस्तुत करते हैं। इसके अलावा, इस तरह के एक संक्रमण के बाद, हम स्पूफ क्लास को 1.3 से गुणा करके कृत्रिम रूप से वृद्धि करने में सक्षम थे। इससे हमें मदद मिली, क्योंकि एक धारणा थी कि परीक्षण नमूने में कक्षाओं का संतुलन प्रशिक्षण एक से अलग हो सकता है, और इस तरह हमने मॉडल की गुणवत्ता में सुधार किया।
3. फोल्ड मॉडल को प्रशिक्षित किया गया था, और कई मॉडलों की भविष्यवाणियों को औसत किया गया था।
4. फ्रीक्वेंसी एन्कोडिंग तकनीक भी काम आई। लब्बोलुआब यह है: 2 डी दृढ़ संकल्प स्थिति-अपरिवर्तनीय हैं, और स्पेक्ट्रोग्राम में ऊर्ध्वाधर अक्ष के साथ मूल्यों के बहुत अलग भौतिक अर्थ हैं, इसलिए हम इस जानकारी को मॉडल में स्थानांतरित करना चाहते हैं। ऐसा करने के लिए, हमने स्पेक्ट्रोग्राम और मैट्रिक्स को समाहित किया, जिसमें एक खंड में संख्याएँ शामिल थीं, जो नीचे से ऊपर तक 1 से 1 तक है।
   
   स्पष्टता के लिए, मैं कोड दूंगा:
   
   

   n, d, h, w = x.size()         vertical = torch.linspace(-1, 1, h).view(1, 1, -1, 1)         vertical = vertical.repeat(n, 1, 1, w)         x = torch.cat([x, vertical], dim=1) 

5. हमने पहले चरण के लीक हुए परीक्षण नमूने से छद्म-लेबल डेटा सहित, यह सब प्रशिक्षित किया।

मान्यता

प्रतियोगिता की शुरुआत से, सभी प्रतिभागियों को इस सवाल से पीड़ा हुई: स्थानीय सत्यापन ईईआर 0.01 और निम्न और लीडरबोर्ड 0.1 क्यों देता है और विशेष रूप से सहसंबंधित नहीं है? हमारे पास 2 परिकल्पनाएँ थीं: या तो डेटा में डुप्लिकेट थे, या वक्ताओं के एक सेट पर प्रशिक्षण डेटा एकत्र किया गया था, और डेटा का दूसरे पर परीक्षण किया गया था।

सच कहीं बीच में था। प्रशिक्षण डेटा में, लगभग 5% डेटा डुप्लिकेट निकला, और यह केवल हैश के पूर्ण डुप्लिकेट की गिनती कर रहा है (वैसे, इसमें एक ही फ़ाइल की अलग-अलग फसल भी हो सकती है, लेकिन यह जांचना इतना आसान नहीं है - ऐसा हमने नहीं किया है)।

दूसरी परिकल्पना का परीक्षण करने के लिए, हमने एक स्पीकर-आईडी ग्रिड को प्रशिक्षित किया, प्रत्येक स्पीकर के लिए एम्बेडिंग प्राप्त की, इसे सभी के-साधनों के साथ जोड़ा, और उन्हें स्तरीकृत किया। अर्थात्, हमने एक समूह से वक्ताओं पर प्रशिक्षण लिया, और दूसरों से वक्ताओं की भविष्यवाणी की। सत्यापन की यह विधि पहले ही लीडरबोर्ड के साथ सहसंबंधित होने लगी है, हालांकि इसमें स्कोर 3-4 गुना बेहतर था। एक विकल्प के रूप में, हमने केवल उन भविष्यवाणियों पर मान्य करने की कोशिश की जिनमें मॉडल कम से कम थोड़ा अनिश्चित था, यानी भविष्यवाणी और वर्ग लेबल के बीच का अंतर> 10 ** - 4 (0.0001) था, लेकिन इस तरह की योजना परिणाम नहीं लाती थी।

और क्या काम नहीं आया?

इंटरनेट पर, बस हजारों घंटे के मानव भाषण को खोजने के लिए पर्याप्त है। इसके अलावा, एक समान प्रतियोगिता कई साल पहले ही आयोजित की गई थी। इसलिए, बहुत सारे डेटा डाउनलोड करने के लिए यह एक स्पष्ट विचार था (हमने ~ 300 जीबी डाउनलोड किया) और इस पर क्लासिफायर को प्रशिक्षित किया। कुछ मामलों में, इस तरह के डेटा पर प्रशिक्षण थोड़ा साबित हुआ अगर हम पठार पर पहुंचने से पहले अतिरिक्त और ट्रेन डेटा पर पढ़ाते थे, और फिर हमने केवल प्रशिक्षण डेटा पर प्रशिक्षण दिया। लेकिन इस योजना के साथ, मॉडल लगभग 2 दिनों में परिवर्तित हो गया, जिसका अर्थ सभी सिलवटों के लिए 10 दिन था। इसलिए, हमने इस विचार को त्याग दिया।

इसके अलावा, कई प्रतिभागियों ने फ़ाइल की लंबाई और वर्ग के बीच सहसंबंध पर गौर किया, यह नमूना परीक्षण नमूने में नहीं देखा गया था। Resnext, nasnet-mobile, mobileNetV3 जैसे साधारण चित्र ग्रिड ने खुद को बहुत अच्छा नहीं दिखाया।

अंतभाषण

यह आसान और कभी-कभी अजीब नहीं था, लेकिन फिर भी हमें एक अच्छा अनुभव मिला और शीर्ष पर आया। परीक्षण और त्रुटि के माध्यम से, मुझे एहसास हुआ कि कौन से दृष्टिकोण काफी काम कर रहे हैं और जो बहुत अच्छे नहीं हैं। अब मैं ध्वनि के प्रसंस्करण के दौरान हमारे साथ इन जानकारियों का उपयोग करूंगा। मैं मानव से अप्रत्यक्ष स्तर पर संवादी एआई लाने के लिए कड़ी मेहनत करता हूं, और इसलिए हमेशा दिलचस्प कार्यों और चिप्स की खोज में रहता हूं। मुझे उम्मीद है कि आपने भी कुछ नया सीखा होगा।

खैर, आखिरकार, हम अपना कोड पोस्ट करते हैं ।