कैसे एक SincNet तंत्रिका नेटवर्क वापस प्रसार के माध्यम से ध्वनि में महत्वपूर्ण आवृत्तियों आवंटित करता है

हाल ही में, एक बहुत ही दिलचस्प लेख प्रकाशित किया गया था, "स्पीकर सिन्टेनेट के साथ कच्ची तरंग से मान्यता," जिसमें आवाज से स्पीकर को पहचानने के लिए एक तंत्रिका नेटवर्क के अंत-टू-एंड वास्तुकला का वर्णन किया गया था। इस वास्तुकला की एक प्रमुख विशेषता विशेष वन-आयामी दृढ़ परतें हैं, जिनकी स्पष्ट व्याख्या के साथ केवल दो पैरामीटर हैं। एक तंत्रिका नेटवर्क के मापदंडों की व्याख्या एक कठिन मामला है, इसलिए इस लेख ने मेरी रुचि को आकर्षित किया।

यदि आप इस लेख के विचार के विवरण में रुचि रखते हैं, और यह भी कि यह विचार चाक स्पेक्ट्रोग्राम के निर्माण के करीब क्यों है, तो आप बिल्ली के लिए स्वागत करते हैं।

मैं ध्यान देता हूं कि इस पोस्ट में उपयोग की गई सभी छवियां या तो मूल लेख से ली गई हैं, या उन्हें इस रिपॉजिटरी में संग्रहीत बृहस्पति नोटबुक का उपयोग करके प्राप्त किया जा सकता है ।

वर्णित लेख के लेखकों ने गितुब के लिए स्रोत कोड पोस्ट किया, यह यहां पाया जा सकता है ।

चाक स्पेक्ट्रोग्राम

इस लेख के सार को समझने के लिए, आइए पहले याद करें कि एक चॉक स्पेक्ट्रोग्राम क्या है, इसे कैसे प्राप्त करें, और इसका अर्थ क्या है। यदि यह विषय आपसे परिचित है, तो यह हिस्सा बहुत दिलचस्प नहीं होगा। यह विंडो फूरियर रूपांतरण का उपयोग करके निर्मित सामान्य स्पेक्ट्रोग्राम द्वारा गणना की जाती है:

$$

$$F (k, m) = \ _ \ _ limit_ {n = 0} ^ {L - 1} x [n + m] w [n] e ^ {- i {{2 \ pi} \ over {L}} kn}$$

इस ऑपरेशन का सार कुछ विंडो फ़ंक्शन द्वारा गुणा किए गए भाषण सिग्नल के छोटे टुकड़ों में फूरियर ट्रांसफॉर्म का अनुक्रमिक अनुप्रयोग है। विंडो ट्रांसफ़ॉर्म को लागू करने का परिणाम एक मैट्रिक्स है, जहां प्रत्येक कॉलम मूल सिग्नल के एक छोटे खंड का स्पेक्ट्रम है। नीचे दिए गए उदाहरण पर एक नज़र डालें:

वैज्ञानिकों के प्रयोगों से पता चला है कि मानव कान उच्च की तुलना में कम आवृत्तियों पर ध्वनि में परिवर्तन के लिए अधिक संवेदनशील है। यही है, अगर ध्वनि की आवृत्ति 100 हर्ट्ज से 120 हर्ट्ज तक बदल जाती है, तो एक व्यक्ति को इस बदलाव को नोटिस करने की बहुत संभावना है। लेकिन अगर आवृत्ति 10000 हर्ट्ज से 10020 हर्ट्ज तक बदल जाती है, तो हम इस परिवर्तन को पकड़ने में सक्षम होने की संभावना नहीं है।

इस संबंध में, ध्वनि की पिच को मापने के लिए एक नई इकाई शुरू की गई थी - चाक। यह एक व्यक्ति द्वारा ध्वनि की मनोवैज्ञानिक-शारीरिक धारणा पर आधारित है, और यह आवृत्ति पर लघुगणकीय रूप से निर्भर करता है:

$$

$$मेल = 1127.01048 \ ln (1 + {{freq} \ over {700}})$$

दरअसल, चॉक स्पेक्ट्रोग्राम एक नियमित स्पेक्ट्रोग्राम है, जहां आवृत्ति को हर्ट्ज में नहीं, बल्कि चॉक में व्यक्त किया जाता है। चाक के संक्रमण को मूल स्पेक्ट्रोग्राम में चाक फिल्टर लगाने से किया जाता है। चाक फिल्टर त्रिकोणीय फ़ंक्शन समान रूप से चाक पैमाने पर वितरित किए जाते हैं। एक उदाहरण के रूप में, यहां 10 चाक फिल्टर हैं (व्यवहार में, वे अधिक लेते हैं, यहां वे स्पष्टता के लिए कम हैं):

जब एक आवृत्ति पैमाने में अनुवाद किया जाता है, तो एक ही फिल्टर इस तरह दिखेगा:

प्रारंभिक स्पेक्ट्रोग्राम के प्रत्येक स्तंभ को प्रत्येक चाक फिल्टर (आवृत्ति पैमाने पर स्थित) से गुणा किया जाता है, जिसके बाद संख्याओं का एक वेक्टर प्राप्त होता है जो आकार में फिल्टर की संख्या के बराबर होता है। नीचे दी गई तस्वीर स्पेक्ट्रोग्राम के एक कॉलम को दर्शाती है (आयाम मान स्पष्टता के लिए एक लघुगणक पैमाने में परिवर्तित हो जाते हैं, चित्र में रंग में एन्कोडेड को ऑर्डिनेट के साथ दिखाया गया है) और दो चाक फ़िल्टर जिसके साथ एक चॉक स्पेक्ट्रोग्राम बनाने के लिए:

इस तरह के परिवर्तनों के परिणामस्वरूप, स्पेक्ट्रोग्राम की कम आवृत्तियों से मान चाक स्पेक्ट्रम में लगभग अपरिवर्तित रहते हैं, और उच्च आवृत्तियों पर मूल्यों को एक व्यापक श्रेणी से औसत किया जाता है। एक उदाहरण के रूप में, मैं 64 चाक फिल्टर का उपयोग करके पिछले स्पेक्ट्रोग्राम से निर्मित चाक स्पेक्ट्रोग्राम को देखने का प्रस्ताव करता हूं:

उपरोक्त सभी को सारांशित करना: अधिक जानकारी चाक स्पेक्ट्रोग्राम पर संग्रहीत है, जो सामान्य स्पेक्ट्रोग्राम की तुलना में अच्छी तरह से माना जाता है और व्यक्ति द्वारा विभेदित है। दूसरे शब्दों में, ध्वनि का यह प्रतिनिधित्व कम आवृत्तियों पर अधिक केंद्रित है, और उच्च पर कम है।

SincNet को इससे क्या लेना-देना है?

स्मरण करो कि चाक पैमाना मानव मनो-शारीरिक धारणा ध्वनि के आधार पर बनाया गया था। लेकिन क्या होगा अगर हम अन्य फ़्रीक्वेंसी बैंड चुनना चाहते हैं जो हमें किसी विशेष कार्य में दूसरों की तुलना में अधिक रुचि रखते हैं? किसी समस्या को हल करने के लिए फ़िल्टर का सबसे अच्छा सेट कैसे चुनें?

लेखकों द्वारा प्रस्तावित वास्तुकला इस समस्या को हल करता है।

लेखक निम्नलिखित फ़ंक्शन को एक फिल्टर के रूप में मानते हैं:

$$

$$G (f, f_1, f_2) = rect ({{f} \ over {2 f_2}}) - rect ({{f} \ over {2 f_1}})$$

$$$रेक्ट (t)$ इस सूत्र में एक आयताकार कार्य है । ऐसा फ़िल्टर फ्रिक्वेंसी रेंज से सेट करता है $$$f_1$ को $$$f_2$ । यहाँ उसका कार्यक्रम है:

इस फ़ंक्शन के लिए व्युत्क्रम फूरियर रूपांतरण का उपयोग करके, आप समय डोमेन में इसका एनालॉग प्राप्त कर सकते हैं:

$$

$$g (n, f_1, f_2) = 2 f_2 sinc (2 \ pi f_2 n) - 2 f_1 sinc (2 \ pi f_1 n)$$

$$

$$sinc (t) = {{sin (t)} \ over {t}}$$

समारोह $$$जी (टी)$ - यह एक आदर्श बैंड-पास फिल्टर की आवेग प्रतिक्रिया है जिसे व्यवहार में लागू नहीं किया जा सकता है, यही वजह है कि लेखक इस फ़ंक्शन को एक हैमिंग विंडो के साथ काटते हैं । डिजिटल सिग्नल प्रोसेसिंग में, इस दृष्टिकोण को विंडो संश्लेषण कहा जाता है।

विंडो छोटा फ़ंक्शन विकल्प $$$जी$ लेखकों का सुझाव है कि कच्चे ऑडियो डेटा पर लागू सभी संकल्पों के लिए एक टेम्पलेट के रूप में उपयोग करें। यह फ़ंक्शन मापदंडों द्वारा भिन्न होता है। $$$f_1$ और $$$f_2$ , जिसका अर्थ है कि इसका उपयोग त्रुटियों के वापस प्रसार की विधि द्वारा नेटवर्क मापदंडों को अनुकूलित करने के लिए किया जा सकता है।

प्रमेय प्रमेय द्वारा, कार्य के साथ मूल संकेत का संकेतन $$$जी$ किसी फ़ंक्शन द्वारा मूल सिग्नल के स्पेक्ट्रम को गुणा करने के बराबर $$$जी$ । मोटे तौर पर बोलना, फ़ंक्शन के साथ मूल सिग्नल का एक दृढ़ प्रदर्शन करना $$$जी$ , हम विचाराधीन संकेत में एक दिए गए आवृत्ति रेंज के लिए तंत्रिका नेटवर्क का "ध्यान आकर्षित" करते हैं।

बेशक, फूरियर रूपांतरण यहां लागू नहीं होता है, और रेंज में स्पेक्ट्रम के विशिष्ट मूल्य तंत्रिका नेटवर्क को स्पष्ट रूप से सूचित नहीं किए जाते हैं। $$$[f_1; f_2]$ । जाहिर है, वर्णक्रमीय विशेषताओं को निकालने का कार्य तंत्रिका नेटवर्क में स्थित निम्नलिखित ब्लॉकों को सौंपा गया है।

इस दृष्टिकोण के लाभों में से, लेखक निम्नलिखित पर ध्यान दें:

1. तेजी से अभिसरण
2. मापदंडों की एक छोटी संख्या। एक क्लासिक कंफ्यूज़नल ब्लॉक में, मापदंडों की संख्या कनवल्शन की लंबाई के बराबर होती है। वर्णित दृष्टिकोण के साथ, मापदंडों की संख्या सजा की लंबाई पर निर्भर नहीं करती है और 2 के बराबर है
3. मापदंडों की व्याख्या

निष्कर्ष

ऐसे कई फिल्टर हैं जिनके साथ स्पेक्ट्रोग्राम को परिवर्तित किया जाता है। उदाहरण के लिए, वर्णित चाक फिल्टर के अलावा, छाल फिल्टर भी हैं (आप यहां और यहां पढ़ सकते हैं)। कम से कम छाल भी एक मनोदैहिक मूल्य है, जिसे "एक आदमी के लिए चुना जाता है।"

अपने अध्ययन में, लेखकों ने एक विधि का प्रस्ताव दिया जिसके द्वारा तंत्रिका नेटवर्क स्वतंत्र रूप से सीखने की प्रक्रिया में सबसे उपयुक्त आवृत्ति श्रेणियों का चयन कर सकता है, जो डेटा सेट पर निर्भर करता है। मेरे लिए, यह एक चॉक स्पेक्ट्रोग्राम बनाने की प्रक्रिया के समान है, जिसमें कम आवृत्तियों के लिए एक उच्च प्राथमिकता दी जाती है। यहाँ ध्वनि के मानवीय बोध के आधार पर बस चाक-स्पेक्ट्रोग्राम का आविष्कार किया गया है, और प्रस्तावित पद्धति में, तंत्रिका नेटवर्क स्वयं निर्णय लेता है कि क्या महत्वपूर्ण है और क्या नहीं।