व्युत्पन्न सामग्री को लोकतांत्रिक बनाने के लिए हैकिंग संगीत

डिस्क्लेमर: इस लेख में वर्णित सभी बौद्धिक संपदा, डिज़ाइन, और तरीके US10014002B2 और US9842609222 में बताए गए हैं।

मेरी इच्छा है कि मैं 1965 में लौट सकूं, एब्बी रोड स्टूडियो के सामने के दरवाजे को एक पास से खटखटाऊं, अंदर जाऊं और लेनन और मैककार्टनी की असली आवाज सुनूं ... अच्छा, चलो कोशिश करते हैं। इनपुट: बीटल्स औसत गुणवत्ता एमपी 3 हम इसे काम कर सकते हैं । ऊपरी ट्रैक इनपुट मिक्स है, निचला ट्रैक पृथक स्वर है जिसे हमारे तंत्रिका नेटवर्क ने हाइलाइट किया है।

औपचारिक रूप से, इस समस्या को ध्वनि स्रोतों के पृथक्करण या सिग्नल के पृथक्करण (ऑडियो स्रोत पृथक्करण) के रूप में जाना जाता है। इसमें एक या अधिक मूल संकेतों को पुनर्स्थापित करने या पुनर्निर्माण करने में शामिल होते हैं, जो कि एक रैखिक या संश्लिष्ट प्रक्रिया के परिणामस्वरूप, अन्य संकेतों के साथ मिश्रित होते हैं। अनुसंधान के इस क्षेत्र में कई व्यावहारिक अनुप्रयोग हैं, जिसमें ध्वनि (भाषण) की गुणवत्ता में सुधार और शोर को खत्म करना, संगीत रीमिक्स, ध्वनि का स्थानिक वितरण, रीमास्टरिंग आदि शामिल हैं। साउंड इंजीनियर कभी-कभी इस तकनीक को डिमिक्सिंग कहते हैं। इस विषय पर बहुत सारे संसाधन हैं, स्वतंत्र घटकों (आईसीए) के विश्लेषण के साथ संकेतों के अंधा पृथक्करण से लेकर गैर-नकारात्मक मेट्रिसेस के अर्ध-नियंत्रित फैक्टराइजेशन और तंत्रिका नेटवर्क के आधार पर बाद के दृष्टिकोणों के साथ समाप्त होने तक। आप CCRMA के इन मिनी-गाइड में पहले दो बिंदुओं पर अच्छी जानकारी पा सकते हैं, जो एक समय में मेरे लिए बहुत उपयोगी थे।

लेकिन विकास में गोता लगाने से पहले ... लागू मशीन शिक्षण दर्शन का थोड़ा सा ...

स्लोगन "डीप लर्निंग सॉल्व एवरीथिंग" फैलने से पहले ही मैं सिग्नल और इमेज प्रोसेसिंग में लगा हुआ था, इसलिए मैं आपको एक फीचर इंजीनियरिंग ट्रिप के रूप में एक समाधान प्रस्तुत कर सकता हूं और दिखा सकता हूं कि न्यूरल नेटवर्क इस विशेष समस्या के लिए सबसे अच्छा तरीका क्यों है । क्यों? बहुत बार, मैं देखता हूं कि लोग कुछ इस तरह लिखते हैं:

“गहरी शिक्षा के साथ, आपको अब सुविधाओं को चुनने के बारे में चिंता करने की ज़रूरत नहीं है; यह आपके लिए करेगा। "

या इससे भी बदतर ...

"मशीन लर्निंग और डीप लर्निंग के बीच का अंतर [हे ... डीप लर्निंग अभी भी मशीन लर्निंग है!] यह है कि एमएल में आप खुद ही एट्रिब्यूट्स निकालते हैं, और डीप लर्निंग में यह नेटवर्क के अंदर अपने आप होता है।"

ये सामान्यीकरण संभवतः इस तथ्य से आते हैं कि DNN अच्छे छिपे हुए स्थानों की खोज में बहुत प्रभावी हो सकते हैं। लेकिन इसलिए इसे सामान्य करना असंभव है। जब हाल ही में स्नातक और चिकित्सक उपरोक्त गलतफहमियों के कारण आगे बढ़ते हैं और "गहन-शिक्षण-यह-सब" दृष्टिकोण को अपनाते हैं तो मैं बहुत परेशान हूं। जैसे, कच्चे डेटा का एक गुच्छा (थोड़ा प्रारंभिक प्रसंस्करण के बाद भी) फेंकना पर्याप्त है - और सब कुछ उसी तरह काम करेगा जैसे इसे करना चाहिए। वास्तविक दुनिया में, आपको प्रदर्शन, रीयल-टाइम निष्पादन, इत्यादि जैसी चीजों का ध्यान रखने की आवश्यकता है। इस तरह की भ्रांतियों के कारण, आप बहुत लंबे समय तक प्रयोग मोड में बने रहेंगे।

कृत्रिम तंत्रिका नेटवर्क के डिजाइन में फ़ीचर इंजीनियरिंग बहुत महत्वपूर्ण अनुशासन है। किसी भी अन्य एमएल तकनीक के रूप में, ज्यादातर मामलों में, यह वह है जो उत्पादन स्तर के प्रभावी समाधानों को असफल या अप्रभावी प्रयोगों से अलग करता है। आपके डेटा और इसकी प्रकृति की गहरी समझ अभी भी बहुत मायने रखती है ...

ए टू जेड

ठीक है, मैंने धर्मोपदेश समाप्त कर दिया। अब देखते हैं कि हम यहाँ क्यों हैं! किसी भी डेटा प्रोसेसिंग समस्या के साथ, आइए पहले देखें कि यह कैसा दिखता है। मूल स्टूडियो रिकॉर्डिंग से वोकल्स के अगले टुकड़े पर एक नज़र डालें।

स्टूडियो वोकल्स 'वन लास्ट टाइम', एरियाना ग्रांडे

बहुत दिलचस्प नहीं है, है ना? ठीक है, यह इसलिए है क्योंकि हम समय में संकेत की कल्पना करते हैं। यहां हम समय के साथ केवल आयाम परिवर्तन देखते हैं। लेकिन आप सभी प्रकार की अन्य चीजों को निकाल सकते हैं, जैसे आयाम लिफाफे (लिफाफा), मूल माध्य वर्ग मान (RMS), आयाम के सकारात्मक मूल्यों से नकारात्मक (शून्य-क्रॉसिंग दर), आदि में परिवर्तन की दर, लेकिन ये संकेत बहुत आदिम हैं और पर्याप्त रूप से विशिष्ट नहीं हैं, हमारी समस्या में मदद करने के लिए। यदि हम ऑडियो सिग्नल से वोकल्स निकालना चाहते हैं, तो पहले हमें किसी तरह से मानव भाषण की संरचना निर्धारित करनी होगी। सौभाग्य से, विंडो फूरियर ट्रांसफॉर्म (STFT) बचाव के लिए आता है।

STFT आयाम स्पेक्ट्रम - खिड़की का आकार = 2048, ओवरलैप = 75%, लघुगणक आवृत्ति स्केल [सोनिक विज़ुअलाइज़र]

हालाँकि मुझे वाक् प्रसंस्करण पसंद है और निश्चित रूप से इनपुट फ़िल्टर सिमुलेशन, सेफस्ट्रम्स, सोट्टोटामी, एलपीसी, एमएफसीसी और इसी तरह से खेलना पसंद है, हम यह सब बकवास छोड़ देंगे और अपनी समस्या से संबंधित मुख्य तत्वों पर ध्यान केंद्रित करेंगे ताकि लेख को अधिक से अधिक लोगों द्वारा समझा जा सके। न केवल सिग्नल प्रोसेसिंग विशेषज्ञ।

तो मानव भाषण की संरचना हमें क्या बताती है?

खैर, हम यहां तीन मुख्य तत्वों को परिभाषित कर सकते हैं:

मौलिक आवृत्ति (f0), जो हमारे मुखर डोरियों की कंपन आवृत्ति द्वारा निर्धारित की जाती है। इस मामले में, एरियाना 300-500 हर्ट्ज की सीमा में गाती है।
F0 के ऊपर हार्मोनिक्स की एक श्रृंखला जो एक समान आकृति या पैटर्न का पालन करती है। ये हारमोन्स आवृत्तियों पर दिखाई देते हैं जो f0 के गुणक हैं।
असंबद्ध भाषण, जिसमें 't', 'p', 'k', 's' (जो मुखर डोरियों के कंपन से उत्पन्न नहीं होता है), श्वास आदि जैसे व्यंजन शामिल हैं, यह सब उच्च-आवृत्ति क्षेत्र में छोटी फटने के रूप में ही प्रकट होता है।

पहले नियमों के साथ प्रयास करें

चलो एक दूसरे को भूल जाते हैं जिसे मशीन लर्निंग कहा जाता है। क्या संकेत के हमारे ज्ञान के आधार पर एक मुखर निष्कर्षण विधि विकसित की जा सकती है? मुझे कोशिश करने दो ...

Naive मुखर अलगाव V1.0:

वोकल वाले क्षेत्रों को पहचानें। मूल संकेत में बहुत सी चीजें हैं। हम उन क्षेत्रों पर ध्यान केंद्रित करना चाहते हैं जिनमें वास्तव में मुखर सामग्री है, और बाकी सब चीजों को अनदेखा करें।
आवाज और बिना बोले भाषण के बीच भेद। जैसा कि हमने देखा है, वे बहुत अलग हैं। उन्हें शायद अलग तरीके से संभालने की जरूरत है।
समय के साथ मौलिक आवृत्ति में परिवर्तन का आकलन करें।
पिन 3 के आधार पर, हार्मोनिक्स को पकड़ने के लिए किसी प्रकार का मुखौटा लागू करें।
बिना भाषण के अंशों के साथ कुछ करें ...

यदि हम योग्य रूप से काम करते हैं, तो परिणाम एक नरम या बिटमास्क होना चाहिए, जिसमें से एसटीएफटी (एलीमेंट वाइज गुणा) के आयाम एसटीएफटी वोकल के आयाम का एक अनुमानित पुनर्निर्माण देता है। फिर हम मूल संकेत के चरण के बारे में जानकारी के साथ इस मुखर एसटीएफटी को जोड़ते हैं, उलटा एसटीएफटी की गणना करते हैं, और पुनर्निर्मित मुखर का समय संकेत प्राप्त करते हैं।

इसे खरोंच से करना पहले से ही एक बड़ा काम है। लेकिन प्रदर्शन के लिए, PYIN एल्गोरिदम का कार्यान्वयन लागू है । हालाँकि यह चरण 3 को हल करने का इरादा है, लेकिन सही सेटिंग्स के साथ, यह शालीनता से 1 और 2 कदम रखता है, संगीत की उपस्थिति में भी मुखर आधार पर नज़र रखता है। नीचे दिए गए उदाहरण में इस एल्गोरिथ्म को संसाधित करने के बाद आउटपुट है, बिना भाषण के प्रसंस्करण के बिना।

और क्या ...? उसने लगता है कि सभी काम किए हैं, लेकिन अच्छी गुणवत्ता और करीबी नहीं है। शायद अधिक समय, ऊर्जा और धन खर्च करके, हम इस पद्धति में सुधार करेंगे ...

लेकिन मुझे आपसे पूछना है ...

यदि ट्रैक पर कुछ आवाज़ें दिखाई देती हैं, तो क्या होता है, और फिर भी यह कम से कम 50% आधुनिक पेशेवर ट्रैक्स में पाया जाता है?

यदि वोकल्स को रीवरब, देरी और अन्य प्रभावों से संसाधित किया जाता है तो क्या होगा? आइए इस गीत से एरियाना ग्रांडे के अंतिम कोरस पर एक नज़र डालें।

क्या आपको पहले से ही दर्द महसूस हो रहा है ...? मैं हूं।

सख्त नियमों पर ऐसे तरीके बहुत जल्दी कार्ड के घर में बदल जाते हैं। समस्या बहुत जटिल है। बहुत अधिक नियम, बहुत अधिक अपवाद, और बहुत अधिक भिन्न परिस्थितियाँ (प्रभाव और मिश्रण सेटिंग्स)। एक बहु-चरण दृष्टिकोण का अर्थ यह भी है कि एक चरण में त्रुटियां अगले चरण की समस्याओं को बढ़ाती हैं। प्रत्येक चरण में सुधार करना बहुत महंगा हो जाएगा: इसे सही तरीके से प्राप्त करने के लिए बड़ी संख्या में पुनरावृत्तियों को ले जाएगा। और अंतिम, लेकिन कम से कम, यह संभावना है कि अंत में हमें एक बहुत ही संसाधन-गहन कन्वेयर मिलेगा, जो अपने आप में सभी प्रयासों को नकार सकता है।

ऐसी स्थिति में, यह अधिक व्यापक दृष्टिकोण के बारे में सोचना शुरू करने और एमएल को समस्या को हल करने के लिए आवश्यक बुनियादी प्रक्रियाओं और संचालन का हिस्सा खोजने का समय है। लेकिन हमें अभी भी अपने कौशल को दिखाना है और फीचर इंजीनियरिंग में संलग्न होना है, और आप देखेंगे कि क्यों।

परिकल्पना: तंत्रिका नेटवर्क का उपयोग एक ट्रांसफ़र फ़ंक्शन के रूप में करता है जो मिक्स को वोकल्स में बदल देता है

प्रसंस्करण तस्वीरों में दृढ़ तंत्रिका नेटवर्क की उपलब्धियों को देखते हुए, यहां एक ही दृष्टिकोण क्यों नहीं लागू किया जाता है?

तंत्रिका नेटवर्क सफलतापूर्वक ऐसी समस्याओं को हल करते हैं जैसे कि छवियों का रंगीकरण, पैनापन और संकल्प।

अंत में, आप ध्वनि संकेत "छवि के रूप में" अल्पकालिक फूरियर रूपांतरण का उपयोग करके कल्पना कर सकते हैं, है ना? हालांकि ये ध्वनि छवियां प्राकृतिक छवियों के सांख्यिकीय वितरण के अनुरूप नहीं हैं, फिर भी उनके पास स्थानिक पैटर्न (समय और आवृत्ति स्थान) है जिस पर नेटवर्क को प्रशिक्षित करना है।

वाम: ड्रम बीट और बेसलाइन नीचे, कई सिंथेसाइज़र बीच में आवाज़ करते हैं, सभी को स्वर के साथ मिलाया जाता है। सही: केवल स्वर

इस तरह के प्रयोग का आयोजन एक महंगा उपक्रम होगा क्योंकि आवश्यक प्रशिक्षण डेटा प्राप्त करना या उत्पन्न करना मुश्किल है। लेकिन अनुप्रयुक्त अनुसंधान में, मैं हमेशा इस दृष्टिकोण का उपयोग करने की कोशिश करता हूं: पहला, एक सरल समस्या की पहचान करना जो समान सिद्धांतों की पुष्टि करता है , लेकिन बहुत काम की आवश्यकता नहीं होती है। यह आपको परिकल्पना का मूल्यांकन करने, तेजी से पुनरावृत्त करने और मॉडल को कम से कम नुकसान के साथ ठीक करने की अनुमति देता है अगर यह काम नहीं करना चाहिए।

निहित शर्त यह है कि तंत्रिका नेटवर्क को मानव भाषण की संरचना को समझना चाहिए । एक सरल समस्या यह हो सकती है: क्या एक तंत्रिका नेटवर्क एक ध्वनि रिकॉर्डिंग के मनमाने टुकड़े पर भाषण की उपस्थिति का निर्धारण कर सकता है । हम एक विश्वसनीय आवाज गतिविधि डिटेक्टर (VAD) के बारे में बात कर रहे हैं, जो एक द्विआधारी क्लासिफायरियर के रूप में लागू किया गया है।

हम संकेतों के स्थान को डिज़ाइन करते हैं

हम जानते हैं कि ध्वनि संकेत, जैसे कि संगीत और मानव भाषण, समय पर निर्भरता पर आधारित हैं। सीधे शब्दों में कहें, एक निश्चित समय पर अलगाव में कुछ भी नहीं होता है। यदि मैं जानना चाहता हूं कि क्या ध्वनि रिकॉर्डिंग के किसी विशेष टुकड़े पर आवाज है, तो मुझे पड़ोसी क्षेत्रों को देखने की जरूरत है। इस तरह के समय का संदर्भ ब्याज के क्षेत्र में क्या हो रहा है, इसके बारे में अच्छी जानकारी प्रदान करता है। इसी समय, उच्चतम संभव समय संकल्प के साथ एक मानवीय आवाज को पहचानने के लिए बहुत कम समय की वृद्धि के साथ वर्गीकरण करना वांछनीय है।

थोड़ा गिनते हैं ...

नमूनाकरण आवृत्ति (एफएस): 22050 हर्ट्ज (हम 44100 से 22050 तक घटा देते हैं)
STFT डिजाइन: खिड़की का आकार = 1024, हॉप का आकार = 256, वेटिंग फ़िल्टर के लिए चाक पैमाने का प्रक्षेप, खाते की धारणा। चूंकि हमारा इनपुट वास्तविक है , आप डीसी घटक (वैकल्पिक) को बनाए रखते हुए आधे एसटीएफटी (एक स्पष्टीकरण इस लेख के दायरे से परे है) के साथ काम कर सकते हैं, जो हमें 513 आवृत्ति डिब्बे देता है।
लक्ष्य वर्गीकरण संकल्प: एक एसटीएफटी फ्रेम (~ 11.6 एमएस = 256/22050)
लक्ष्य समय संदर्भ: ~ 300 मिलीसेकंड = 25 एसटीएफटी फ्रेम।
प्रशिक्षण उदाहरणों की लक्ष्य संख्या: 500 हजार।
मान लें कि हम प्रशिक्षण डेटा उत्पन्न करने के लिए 1 एसटीएफटी समय सीमा के एक कदम के साथ एक स्लाइडिंग विंडो का उपयोग करते हैं, हमें 500 हजार डेटा नमूने उत्पन्न करने के लिए लगभग 1.6 घंटे की लेबल ध्वनि की आवश्यकता होती है

उपरोक्त आवश्यकताओं के साथ, हमारे बाइनरी क्लासिफायरियर के इनपुट और आउटपुट निम्नानुसार हैं:

आदर्श

केरस का उपयोग करते हुए, हम अपनी परिकल्पना का परीक्षण करने के लिए एक तंत्रिका नेटवर्क का एक छोटा मॉडल बनाएंगे।

import keras from keras.models import Sequential from keras.layers import Dense, Dropout, Flatten, Conv2D, MaxPooling2D from keras.optimizers import SGD from keras.layers.advanced_activations import LeakyReLU model = Sequential() model.add(Conv2D(16, (3,3), padding='same', input_shape=(513, 25, 1))) model.add(LeakyReLU()) model.add(Conv2D(16, (3,3), padding='same')) model.add(LeakyReLU()) model.add(MaxPooling2D(pool_size=(3,3))) model.add(Dropout(0.25)) model.add(Conv2D(16, (3,3), padding='same')) model.add(LeakyReLU()) model.add(Conv2D(16, (3,3), padding='same')) model.add(LeakyReLU()) model.add(MaxPooling2D(pool_size=(3,3))) model.add(Dropout(0.25)) model.add(Flatten()) model.add(Dense(64)) model.add(LeakyReLU()) model.add(Dropout(0.5)) model.add(Dense(1, activation='sigmoid')) sgd = SGD(lr=0.001, decay=1e-6, momentum=0.9, nesterov=True) model.compile(loss=keras.losses.binary_crossentropy, optimizer=sgd, metrics=['accuracy'])

~ 50 युगों के बाद 80/20 डेटा को प्रशिक्षण और परीक्षण में विभाजित करके ~ 97% परीक्षण करते समय हमें सटीकता प्राप्त होती है। यह इस बात का पर्याप्त प्रमाण है कि हमारा मॉडल संगीत की ध्वनि के टुकड़ों (और स्वरों के बिना टुकड़े) में स्वरों के बीच अंतर करने में सक्षम है। यदि हम 4 के दृढ़ परत से कुछ फ़ीचर मैप्स की जाँच करते हैं, तो हम यह निष्कर्ष निकाल सकते हैं कि तंत्रिका नेटवर्क ने दो कार्यों को करने के लिए अपनी गुठली को अनुकूलित किया है: संगीत को फ़िल्टर करना और स्वरों को फ़िल्टर करना ...

4 वीं दृढ़ परत के बाहर निकलने पर वस्तुओं के नक्शे का एक उदाहरण। जाहिरा तौर पर, संगीत की अनदेखी करते हुए मुखर सामग्री को संरक्षित करने के प्रयास में बाईं ओर आउटपुट कर्नेल संचालन का परिणाम है। उच्च मूल्य मानव भाषण के सामंजस्यपूर्ण संरचना से मिलते जुलते हैं। दाईं ओर ऑब्जेक्ट मैप विपरीत कार्य का परिणाम प्रतीत होता है।

वॉयस डिटेक्टर से लेकर सिग्नल डिस्कनेक्ट तक

सरल वर्गीकरण समस्या को हल करने के बाद, हम संगीत से स्वरों के वास्तविक अलगाव पर कैसे आगे बढ़ सकते हैं? खैर, पहली भोली विधि को देखते हुए, हम अभी भी किसी तरह स्वर के लिए एक आयाम स्पेक्ट्रोग्राम प्राप्त करना चाहते हैं। अब यह एक प्रतिगमन कार्य बन रहा है। हम जो करना चाहते हैं, वह है कि मूल संकेत के STFT से इस समय फ्रेम में स्वर के लिए संबंधित आयाम स्पेक्ट्रम की गणना करें, अर्थात मिश्रण से (पर्याप्त समय संदर्भ के साथ)।

डाटासेट के बारे में क्या प्रशिक्षण? (आप मुझे इस समय पूछ सकते हैं)

धिक्कार है ... ऐसा क्यों। मैं लेख के अंत में इस पर विचार करने जा रहा था ताकि विषय से विचलित न हो!

यदि हमारा मॉडल अच्छी तरह से प्रशिक्षित है, तो तार्किक निष्कर्ष के लिए आपको एसटीएफटी मिश्रण के लिए एक सरल स्लाइडिंग विंडो को लागू करना होगा। प्रत्येक पूर्वानुमान के बाद, खिड़की को 1 टाइमफ्रेम द्वारा दाईं ओर ले जाएं, अगले फ्रेम की वोकल्स के साथ भविष्यवाणी करें और इसे पिछली भविष्यवाणी के साथ जोड़ दें। मॉडल के लिए, आइए उसी मॉडल को लें जिसे वॉयस डिटेक्टर के लिए इस्तेमाल किया गया था और छोटे बदलाव करें: आउटपुट तरंग अब आउटपुट पर है, MSE, आउटपुट पर रैखिक सक्रियण, नुकसान के एक कार्य के रूप में। अब हम प्रशिक्षण शुरू करते हैं।

अभी तक आनन्दित न हों ...

यद्यपि I / O का यह प्रतिनिधित्व समझ में आता है, हमारे मॉडल को कई बार प्रशिक्षित करने के बाद, विभिन्न मापदंडों और डेटा सामान्यीकरण के साथ, कोई परिणाम नहीं है। ऐसा लगता है कि हम बहुत अधिक पूछ रहे हैं ...

हम एक बाइनरी क्लासिफायरियर से 513-आयामी वेक्टर पर प्रतिगमन में चले गए हैं। यद्यपि नेटवर्क कुछ हद तक समस्या का अध्ययन कर रहा है, फिर भी बहाल स्वर में स्पष्ट कलाकृतियों और अन्य स्रोतों से हस्तक्षेप है। अतिरिक्त परतों को जोड़ने और मॉडल मापदंडों की संख्या बढ़ाने के बाद भी, परिणाम बहुत अधिक नहीं बदलते हैं। और फिर सवाल उठता है: धोखे से नेटवर्क के लिए कार्य को "सरल" कैसे करें, और एक ही समय में वांछित परिणाम प्राप्त करें?

क्या होगा अगर, एसटीएफटी के स्वर के आयाम का आकलन करने के बजाय, हम एक बाइनरी मास्क प्राप्त करने के लिए नेटवर्क को प्रशिक्षित करते हैं, जो एसटीएफटी मिश्रण पर लागू होने पर हमें एक सरल, लेकिन अवधारणात्मक रूप से स्वीकार्य आयाम स्पेक्ट्रोग्राम का संकेत देता है?

विभिन्न अनुमानों के साथ प्रयोग करते हुए, हम एक बहुत ही सरल (और निश्चित रूप से, सिग्नल प्रोसेसिंग के संदर्भ में अपरंपरागत) के साथ आए थे। बाइनरी मास्क का उपयोग करके घोला जा सकता है। विवरण में जाने के बिना, सार इस प्रकार है। एक द्विआधारी छवि के रूप में आउटपुट की कल्पना करें, जहां मान '1' किसी दिए गए आवृत्ति और समय सीमा पर मुखर सामग्री की प्रचलित उपस्थिति को इंगित करता है, और मान '0' किसी दिए गए स्थान में संगीत की प्रचलित उपस्थिति को इंगित करता है। हम इसे धारणा का द्वन्द्रीकरण कह सकते हैं, बस एक नाम के साथ आने के लिए। नेत्रहीन, यह बहुत बदसूरत दिखता है, ईमानदार होना, लेकिन परिणाम आश्चर्यजनक रूप से अच्छे हैं।

अब हमारी समस्या एक प्रकार का संकर प्रतिगमन-वर्गीकरण (बहुत मोटे तौर पर ...) बन जाती है। हम आउटपुट में मुखर या गैर-मुखर के रूप में "वर्गीकृत पिक्सेल" मॉडल से पूछते हैं, हालांकि वैचारिक रूप से (साथ ही उपयोग किए गए MSE नुकसान फ़ंक्शन के दृष्टिकोण से) कार्य प्रतिगामी रहता है।

यद्यपि यह अंतर कुछ के लिए अनुचित लग सकता है, वास्तव में कार्य का अध्ययन करने के लिए मॉडल की क्षमता में इसका बहुत महत्व है, जिनमें से दूसरा सरल और अधिक सीमित है। इसी समय, यह हमें अपने मॉडल को मापदंडों की संख्या के संदर्भ में अपेक्षाकृत छोटा रखने की अनुमति देता है, कार्य की जटिलता को देखते हुए, वास्तविक समय में काम करने के लिए बहुत ही वांछनीय, जो इस मामले में एक डिजाइन की आवश्यकता थी। कुछ मामूली मोड़ के बाद, अंतिम मॉडल ऐसा दिखता है।

समय-डोमेन सिग्नल कैसे पुनर्प्राप्त करें?

वास्तव में, जैसा कि भोली विधि में है । इस मामले में, प्रत्येक पास के लिए, हम बाइनरी वोकल्स मास्क के एक समय सीमा का अनुमान लगाते हैं। फिर से, एक टाइमफ्रेम के एक कदम के साथ एक सरल स्लाइडिंग विंडो को साकार करते हुए, हम लगातार समयसीमा का मूल्यांकन और संयोजन करना जारी रखते हैं, जो अंततः पूरे मुखर बाइनरी मास्क बनाते हैं।

एक प्रशिक्षण सेट बनाएँ

जैसा कि आप जानते हैं, शिक्षक के साथ पढ़ते समय मुख्य समस्याओं में से एक (तैयार किए गए डेटासेट के साथ इन खिलौनों के उदाहरणों को छोड़ दें) एक विशिष्ट समस्या के लिए सही डेटा (मात्रा और गुणवत्ता में) है जिसे आप हल करने की कोशिश कर रहे हैं। हमारे मॉडल के प्रशिक्षण के लिए इनपुट और आउटपुट के वर्णित अभ्यावेदन के आधार पर, आपको पहले महत्वपूर्ण संख्या में घोला जा सकता है और उनके अनुरूप, पूरी तरह से गठबंधन और सामान्यीकृत मुखर ट्रैक। इस सेट को कई तरह से बनाया जा सकता है, और हमने इंटरनेट पर पाए जाने वाले एक कपल पर आधारित जोड़ियों [मिक्स <-> वोकल्स] को मैन्युअल रूप से बनाने से लेकर रॉक बैंड म्यूजिक मटेरियल और Youtube स्क्रैपबुकिंग की खोज के लिए रणनीतियों के संयोजन का उपयोग किया। बस आपको यह अंदाजा लगाने के लिए कि यह प्रक्रिया कितनी श्रमसाध्य और दर्दनाक है, परियोजना का हिस्सा स्वचालित रूप से जोड़े बनाने के लिए इस तरह के उपकरण का विकास था [मिक्स <-> वोकल्स]:

तंत्रिका नेटवर्क के लिए बहुत बड़ी मात्रा में डेटा की आवश्यकता होती है, जो कि स्वरों के मिश्रण को प्रसारित करने के लिए स्थानांतरण फ़ंक्शन सीखता है। हमारे अंतिम सेट में 300 मिक्स मिक्स और उनके संबंधित मुखर बाइनरी मास्क के लगभग 15 मिलियन नमूने शामिल थे।

पाइपलाइन वास्तुकला

जैसा कि आप शायद जानते हैं, एक विशिष्ट कार्य के लिए एक एमएल मॉडल बनाना केवल आधी लड़ाई है। वास्तविक दुनिया में, आपको सॉफ्टवेयर आर्किटेक्चर के बारे में सोचने की जरूरत है, खासकर अगर आपको वास्तविक समय में काम करने की जरूरत है या इसके करीब है।

इस विशेष कार्यान्वयन में, टाइम बाइनरी में पुनर्निर्माण पूर्ण बाइनरी वोकल्स मास्क (स्टैंड-अलोन मोड) की भविष्यवाणी करने के तुरंत बाद हो सकता है, या अधिक दिलचस्प रूप से, बहु-थ्रेडेड मोड में, जहां हम डेटा प्राप्त करते हैं और प्रक्रिया करते हैं, वोकल्स को पुनर्स्थापित करते हैं और ध्वनि को पुन: उत्पन्न करते हैं - सभी छोटे खंडों में, करीब स्ट्रीमिंग और यहां तक कि लगभग वास्तविक समय में, प्रसंस्करण संगीत जो न्यूनतम देरी के साथ मक्खी पर दर्ज किया गया है। दरअसल, यह एक अलग विषय है, और मैं इसे वास्तविक समय एमएल पाइपलाइनों पर एक अन्य लेख के लिए छोड़ दूंगा ...

मुझे लगता है कि मैंने पर्याप्त कहा, इसलिए एक दो उदाहरण क्यों नहीं सुने!

दफ्तरी पंक - गेट लकी (स्टूडियो रिकॉर्डिंग)

यहाँ आप ड्रम से कुछ न्यूनतम हस्तक्षेप सुन सकते हैं ...

एडेल - रेन को आग लगाओ (लाइव रिकॉर्डिंग!)

ध्यान दें कि कैसे शुरुआत में हमारा मॉडल भीड़ की चीख को मुखर सामग्री के रूप में निकालता है :)। इस मामले में, अन्य स्रोतों से कुछ हस्तक्षेप है। चूंकि यह एक लाइव रिकॉर्डिंग है, इसलिए यह स्वीकार्य लगता है कि निकाले गए स्वर पिछले वाले की तुलना में खराब हैं।

हाँ, और "कुछ और" ...

यदि सिस्टम वोकल्स के लिए काम करता है, तो इसे अन्य इंस्ट्रूमेंट्स पर क्यों नहीं लागू किया जाता है ...?

लेख पहले से ही काफी बड़ा है, लेकिन किए गए काम को देखते हुए, आप नवीनतम डेमो सुनने के लिए योग्य हैं। वोकल्स निकालते समय ठीक उसी तर्क के साथ, हम स्टीरियो म्यूजिक को घटकों (ड्रम, बेसल्स, वोकल्स, अन्य) में विभाजित करने का प्रयास कर सकते हैं, जिससे हमारे मॉडल में कुछ बदलाव होते हैं और निश्चित रूप से, उपयुक्त प्रशिक्षण सेट होने :)।

पढ़ने के लिए धन्यवाद। अंतिम नोट के रूप में: जैसा कि आप देख सकते हैं, हमारे दृढ़ तंत्रिका नेटवर्क का वास्तविक मॉडल इतना खास नहीं है। इस कार्य की सफलता को फीचर इंजीनियरिंग और स्वच्छ परिकल्पना परीक्षण प्रक्रिया द्वारा निर्धारित किया गया था, जिसके बारे में मैं भविष्य के लेखों में लिखूंगा!

ऑडियो ऐ: संगीत संबंधी तंत्रिका नेटवर्क का उपयोग करके संगीत से स्वर निकालना