आपने अभी तक "हैलो" शब्द नहीं कहा है, और हम पहले से ही जानते हैं कि आप कौन हैं

हमारा तंत्रिका नेटवर्क ऐसा कर सकता है, एक व्यक्ति को एक उच्चारण शब्दांश द्वारा पहचानना। हालाँकि, इस लेख का विषय सीधे तौर पर ध्वनि पहचान से संबंधित नहीं है, हालाँकि यह इससे संबंधित होगा। हम तंत्रिका नेटवर्क सुविधाओं के बारे में बात करेंगे, तथाकथित डी-वेक्टर, जिसका उपयोग ध्वनि प्रसंस्करण कार्यों में किया जा सकता है: सत्यापन से भाषण मान्यता और भावनाओं तक।

materiel

नमूनाकरण दर के आधार पर, एक सेकंड की ध्वनि में 8 से 48 हजार नंबर हो सकते हैं। उन्हें स्पीकर झिल्ली या माइक्रोफोन की संतुलन स्थिति से विचलन के रूप में दर्शाया जा सकता है। वास्तव में, ध्वनि का ऐसा विवरण निरर्थक है: समय के अगले क्षण पर संकेत का आयाम दृढ़ता से पिछले एक पर निर्भर करता है, जो संकेत देता है कि यह संकेत जानकारी के बहुत नुकसान के बिना प्रभावी ढंग से संकुचित हो सकता है। एक सिग्नल के आयाम को कम करने के तरीके की एक बड़ी संख्या है, और उनमें से अधिकांश ध्वनि के भौतिक गुणों और मानव सुनवाई की विशेषताओं पर आधारित हैं।


मेमे १।

इससे पहले कि तंत्रिका नेटवर्क ने अच्छी तरह से (व्यापक अर्थ में) काम किया, समुदाय ने तथाकथित हाथ से तैयार की गई विशेषताओं के साथ काम किया। उनमें से सबसे प्रसिद्ध और व्यापक रूप से इस्तेमाल किया गया पिच और एमएफसीसी हैं । पहले का मुखर डोरियों के दोलनों की आवृत्ति का एक भौतिक अर्थ है, जो अलग-अलग लोगों के लिए, उदाहरण के लिए, और अंतरंगता पर भी निर्भर करता है। सेफस्ट्रल गुणांक (एमएफसीसी) का विचार ध्वनि की मानवीय धारणा की आवृत्ति और आवृत्ति पर आधारित है। यह एक व्यक्ति को लगता है कि एक ध्वनि कुछ मात्रा से दूसरे की तुलना में अधिक है, अगर वास्तव में उनकी आवृत्ति निश्चित संख्या से भिन्न होती है।

ये और मैन्युअल रूप से गणना की गई विशेषताएं इस अर्थ में अपरिवर्तनीय हैं कि सिग्नल का कुछ हिस्सा हमेशा के लिए खो जाता है। कुछ कार्यों में यह महत्वपूर्ण नहीं है, लेकिन मैं अधिक सार्वभौमिक और कामकाजी दृष्टिकोण के साथ आना चाहूंगा।

इस समस्या को हल करने की कुंजी फूरियर रूपांतरण है। इसका उपयोग करते हुए, आप विभिन्न आवृत्तियों और आयामों के साथ तरंगों के योग के रूप में एक ऑडियो सिग्नल की कल्पना कर सकते हैं। वास्तव में, भाषण इस अर्थ में स्थिर नहीं है कि समय के विभिन्न बिंदुओं पर इसका स्पेक्ट्रम गुणात्मक रूप से भिन्न होगा। यह हमें स्पेक्ट्रोग्राम का उपयोग करते हुए समय-आवृत्ति प्रतिनिधित्व में इस पर विचार करने की अनुमति देता है।

एक स्पेक्ट्रोग्राम बनाने के लिए, आपको ध्वनि को कई वर्गों में कई दसियों मिलीसेकेंड वाले खंडों (ओवरलैपिंग फ्रेम) में तोड़ने की आवश्यकता है, उनमें से प्रत्येक के लिए फूरियर रूपांतरण की गणना करें और स्पेक्ट्रोग्राम पर कॉलम में अपने मॉड्यूल लिखें। इसके अलावा, इस तरह के एक परिवर्तन लगभग पारस्परिक रूप से उलटा है, अर्थात्, उलटा फूरियर रूपांतरण और ग्रिफिन-लिम एल्गोरिथ्म का उपयोग करके , आप मूल ध्वनि संकेत को पुनर्स्थापित कर सकते हैं (वास्तव में, जानकारी की हानि है, क्योंकि फूरियर परिवर्तन सामान्य मामले में जटिल है, और स्पेक्ट्रोग्राम वास्तविक-मूल्यवान है, और, लगभग चरण वसूली के लिए, ग्रिफिन-लिम पुनरावृत्त एल्गोरिथ्म आमतौर पर उपयोग किया जाता है)। कुल, अगर हम आयामों का लघुगणक लेते हैं, तो हमें ये चित्र मिलते हैं:


भाषण के 5 सेकंड स्पेक्ट्रोग्राम।

और वे आसानी से दृढ़ जाल द्वारा संसाधित होते हैं।

इस तरह के हैक का उपयोग अक्सर इमेज प्रोसेसिंग कार्यों में किया जाता है: विभिन्न ऑब्जेक्ट्स के उदाहरणों के साथ बड़े डेटाबेस होते हैं (उदाहरण के लिए, इमेजनेट)। आप उन्हें पहचानने के लिए एक बड़ी ग्रिड को प्रशिक्षित कर सकते हैं, और फिर इसे हमारे विशिष्ट कार्य पर वापस ले जा सकते हैं, या आंतरिक पूरी तरह से आंतरिक परतों में से एक से आउटपुट परिणाम ले सकते हैं। यह माना जाता है कि इस तरह की वास्तुकला इनपुट छवियों के लिए अच्छी जानकारीपूर्ण सुविधाओं की गणना करेगी। अनुभव बताता है कि लगभग हमेशा परिणाम बेहतर होगा अगर हमने तंत्रिका नेटवर्क को खरोंच से प्रशिक्षित किया।

D-vectors (आमतौर पर d-vectors, लेकिन कभी-कभी x-vectors कहा जाता है) का विचार ImageNet पर पूर्व-प्रशिक्षित ग्रिड का उपयोग करने के समान है, केवल इस तथ्य को छोड़कर कि स्पेक्ट्रोग्राम के लिए समान बेस नहीं हैं। एक संभावित तरीके के रूप में, ऑटो-एनकोडर्स पर विचार किया जा सकता है, लेकिन वे एक प्राथमिकता नहीं जानते हैं कि स्पेक्ट्रोग्राम में क्या देखना है, इसलिए वे असंतोषजनक रूप से काम करते हैं।

हमें गहराई तक जाने की जरूरत है

ध्यान दें, इस लेख का मुख्य भाग शुरू होता है।

किसी व्यक्ति को आवाज द्वारा सत्यापित करने का कार्य व्यापक रूप से जाना जाता है, जहां भाषण के इनपुट सेगमेंट द्वारा यह निर्धारित करना आवश्यक है कि डेटाबेस में कौन से लोगों ने इसे कहा था। वास्तव में, इस तरह के सिस्टम का निर्माण एक अलग विज्ञान है, और कई अलग-अलग ऐड-ऑन हैं (भाषण की अवधि; क्या यह आवश्यक है कि हर कोई एक ही पाठ बोलता है; एक बनाम एक या एक बनाम सभी का मंचन), जो विभिन्न परिस्थितियों में महत्वपूर्ण हैं, लेकिन हमारे लिए आपको किसी और चीज़ पर ध्यान देने की आवश्यकता है।

अर्थात्: यदि हम किसी व्यक्ति को पहचानने के लिए ग्रिड को पूर्व-प्रशिक्षित करते हैं तो सुविधाएँ कितनी अच्छी होंगी। सब कुछ संकेतों के लिए किया जाता है।

यह हमें 2015 के अंतर्ज्ञान और लेख में मदद करेगा। इसमें लेखक किसी व्यक्ति को चेहरे (चेहरे की पहचान) द्वारा पहचानने के लिए ग्रिड सिखाते हैं। इस काम की कुंजी ट्रिपल लॉस का उपयोग करना है।

उनका विचार बहुत ही सरल है: हम प्रायद्वीपीय परत से सुविधाओं को सामान्य करते हैं ताकि वे एक इकाई क्षेत्र पर झूठ बोलते हैं, और आवश्यकता होती है कि एक वर्ग के बिंदु अलग से दूर और करीब झूठ बोलते हैं। इसे निम्नानुसार प्राप्त किया जा सकता है: प्रत्येक प्रशिक्षण उदाहरण (एंकर) के लिए हम एक ही से दो और नमूना में एक और वर्ग से - सकारात्मक और नकारात्मक पाते हैं। फिर इन तीन बिंदुओं के लिए हम एक नुकसान का रूप लेते हैं:

\ start {समीकरण}
\ बिग [\ ऊर्ध्वाधर च (एक्स ^ ए) - एफ (एक्स ^ पी) \ ऊर्ध्वाधर - \ ऊर्ध्वाधर एफ (एक्स ^ ए) - एफ (एक्स ^ एन) \ ऊर्ध्वाधर + \ अल्फा \ बिग] _ +, +
\ अंत {समीकरण}

जहां x इनपुट चित्र है, सामान्यीकरण के बाद f ग्रिड आउटपुट है, अल्फा मैन्युअल रूप से चयनित पैरामीटर है, [] _ ​​{+} ReLU फ़ंक्शन है। गुणात्मक रूप से, इस नुकसान का मूल्य शून्य है यदि लंगर और सकारात्मक बिंदुओं के बीच की दूरी लंगर और नकारात्मक के बीच की दूरी से कम से कम अल्फा से अधिक है, और दो अलग-अलग वर्गों के बीच का अंतर जितना कम होगा।


ट्रिपल लॉस के साथ प्रशिक्षण के बाद सुविधाओं का क्या होता है, इसका चित्रण।

वैसे, आप स्मार्ट तरीके से त्रिगुण बना सकते हैं। कुछ बिंदु पर, नुकसान की भयावहता छोटी हो जाएगी, और सीखने में तेजी लाने के लिए, आप अन्य सभी वर्गों के बीच नकारात्मक उदाहरणों की तलाश कर सकते हैं, लेकिन केवल उन करीबियों पर विचार करें जो लंगर के करीब हैं। लेकिन बड़े डेटासेट के लिए, यह मुश्किल है, क्योंकि आपको नेटवर्क सीखने के प्रत्येक पुनरावृत्ति के बाद बदलने वाली कक्षाओं के बीच जोड़ीदार दूरी पर विचार करने की आवश्यकता है।

ट्रिपल लॉस में श्रेणीगत क्रॉसेंट्रॉपी पर एक फायदा है, जो पारंपरिक वर्गीकरण में उपयोग किया जाता है। क्रॉस-एन्ट्रॉपी से प्रशिक्षित एक मॉडल एक वर्ग के सभी बिंदुओं को तेजी से छोटे क्षेत्र में समेटने की कोशिश करेगा, और एक विशेष कार्य के लिए अति-जानकारी वाली जानकारी खो सकती है। लेकिन हम ऐसा नहीं चाहते हैं, क्योंकि हम तंत्रिका नेटवर्क को एक सुविधा जनरेटर के रूप में उपयोग करने जा रहे हैं, और सत्यापन के लिए नहीं। ट्रिपल लॉस में यह गुण काफी हद तक कम होता है: इसके लिए यह महत्वपूर्ण है कि विभिन्न वर्गों को एक ही क्षेत्र में अलग-अलग क्षेत्रों में फैलाकर एक वर्ग को बोर किया जाए।


मेमे २।

स्पेक्ट्रोग्राम पर सुविधाओं के जनरेटर को प्रशिक्षित करने से पहले अंतिम बात उनके आकार को निर्धारित करना है। जाहिर है, वर्गीकरण की सटीकता अधिक होगी, हम जिस अवधि पर विचार करेंगे, उसकी अवधि अधिक होगी, लेकिन अधिक "औसत" संकेत निकल जाएंगे। इसलिए, इस तरह के सिग्नल की लंबाई का उपयोग करना उचित है ताकि 1-3 फ़ोनेम्स (शब्दांश) इसमें गिर जाएं - आधा सेकंड उपयुक्त लगता है।

प्रशिक्षण के लिए, हम VoxCeleb2 डेटासेट लेते हैं, जहाँ 6300 स्पीकरों में से प्रत्येक के लिए कई मिनटों की अलग-अलग ऑडियो रिकॉर्डिंग्स हैं (अलग-अलग स्थितियों में बनाई गई हैं)। हम प्रशिक्षण के लिए ऑडियो फाइलों के हिस्से का उपयोग करते हैं, और सत्यापन के लिए बाकी, कनवल्शन नेटवर्क आर्किटेक्चर का चयन करें, इसमें ट्रिपल लॉस जोड़ें और जानें।

परिणाम बहुत अच्छे थे। 1080Ti पर लगभग 2 सप्ताह के प्रशिक्षण में (हां, इतने लंबे समय के लिए), वर्गीकरण सटीकता 55% तक पहुंच गई। ऐसा लगता है कि बहुत ज्यादा नहीं है, लेकिन शीर्ष -5 की सटीकता 78% है, और अगर हम केवल आधे टुकड़ों के सबसे बड़े हिस्से पर विचार करते हैं, जो ज्यादातर तनावग्रस्त स्वर हैं, तो शीर्ष -5 की सटीकता 91% तक बढ़ जाएगी। हम कह सकते हैं कि हम किसी व्यक्ति को उसके एक वाक्यांश द्वारा सभ्य सटीकता के साथ पहचान सकते हैं। लेकिन इससे कोई फर्क नहीं पड़ता।


मेमे ३।

आखिरकार, सब कुछ उन सुविधाओं के लिए शुरू किया गया था, जो तंत्रिका नेटवर्क परत को वर्गीकृत करने से पहले एक से एक तरीके से प्राप्त किया जा सकता है। हमने उन्हें अपने कार्यों पर परीक्षण किया, और हर जगह परिणाम गणना की विशेषताओं के लिए शास्त्रीय दृष्टिकोण का उपयोग करने से बेहतर थे। उदाहरण के लिए, भावना मान्यता की समस्या में, डी-वैक्टर के उपयोग ने हमें अत्याधुनिक 4% से बाईपास करने की अनुमति दी, और इसी लेख को FICC 2019 सम्मेलन में स्वीकार किया गया। हालांकि, भावना मान्यता एक पूरी तरह से अलग कहानी है, जिसके बारे में हम बाद में बात करेंगे।

ग्रेगरी स्टर्लिंग स्टर्लिंग 239, डीप लर्निंग एक्सपर्ट, न्यूरोडाटा लैब द्वारा पोस्ट किया गया।