तंत्रिका नेटवर्क के साथ स्टाइलिंग संगीत

पिछले एक दशक में, डीप न्यूरल नेटवर्क्स (डीएनएन) छवि वर्गीकरण, भाषण मान्यता और यहां तक ​​कि खेलों में भागीदारी जैसे कई एआई कार्यों के लिए एक उत्कृष्ट उपकरण बन गया है। जैसा कि डेवलपर्स ने यह दिखाने की कोशिश की कि छवि वर्गीकरण के क्षेत्र में DNN की सफलता क्या है, और विज़ुअलाइज़ेशन टूल (उदाहरण के लिए, डीप ड्रीम, फिल्टर) बनाए जो कि "वास्तव में" अध्ययन "डीएनएन मॉडल को समझने में मदद करते हैं, एक नया दिलचस्प अनुप्रयोग उत्पन्न हुआ" : एक छवि से "शैली" निकालना और दूसरी, अलग सामग्री पर लागू करना। इसे "इमेज स्टाइल ट्रांसफर" कहा गया है।

बाएं: केंद्र में उपयोगी सामग्री के साथ छवि: शैली के साथ छवि, दाईं ओर: सामग्री + शैली (स्रोत: Google अनुसंधान ब्लॉग )

इससे न केवल कई अन्य शोधकर्ताओं (उदाहरण के लिए, 1 और 2 ) के हित में हड़कंप मच गया, बल्कि कई अन्य मोबाइल एप्लिकेशन भी उभर कर सामने आए। पिछले कुछ वर्षों में, इन दृश्य शैली हस्तांतरण विधियों में बहुत सुधार हुआ है।

Adobe स्टाइल रैपिंग (स्रोत: Engadget )

प्रिज्मा वेबसाइट से उदाहरण

ऐसे एल्गोरिदम का संक्षिप्त परिचय:

हालांकि, छवियों के साथ काम करने में प्रगति के बावजूद, अन्य क्षेत्रों में इन तकनीकों के अनुप्रयोग, उदाहरण के लिए, संगीत के प्रसंस्करण के लिए, बहुत सीमित था (देखें 3 और 4 ), और परिणाम छवियों के मामले में बिल्कुल भी प्रभावशाली नहीं हैं। इससे पता चलता है कि संगीत में शैली को स्थानांतरित करना बहुत कठिन है। इस लेख में, हम समस्या को अधिक विस्तार से जांचेंगे और कुछ संभावित दृष्टिकोणों पर चर्चा करेंगे।

संगीत में शैली को स्थानांतरित करना इतना मुश्किल क्यों है?

आइए पहले प्रश्न का उत्तर दें: संगीत में "स्टाइल ट्रांसफर" क्या है ? उत्तर इतना स्पष्ट नहीं है। छवियों में, "सामग्री" और "शैली" की अवधारणाएं सहज हैं। "छवि सामग्री" में वर्णित वस्तुओं का वर्णन है, उदाहरण के लिए, कुत्तों, घरों, चेहरों, और इसी तरह, और "छवि शैली" रंगों, प्रकाश व्यवस्था, ब्रश स्ट्रोक और बनावट को संदर्भित करता है।

हालांकि, संगीत प्रकृति में शब्दार्थ और अमूर्त है। "संगीत सामग्री" का अर्थ अलग-अलग संदर्भों में अलग-अलग हो सकता है। अक्सर, संगीत की सामग्री एक राग के साथ जुड़ी होती है, और शैली एक व्यवस्था या सामंजस्य के साथ। हालांकि, सामग्री बोल हो सकती है, और गायन के लिए उपयोग की जाने वाली विभिन्न धुनों की व्याख्या विभिन्न शैलियों के रूप में की जा सकती है। शास्त्रीय संगीत में, सामग्री को स्कोर माना जा सकता है (जिसमें सामंजस्य भी शामिल है), जबकि शैली कलाकार द्वारा नोट्स की व्याख्या है, जो अपनी अभिव्यक्ति में लाता है (अलग-अलग और खुद से कुछ ध्वनियों को जोड़ता है)। संगीत में शैली हस्तांतरण के सार को बेहतर ढंग से समझने के लिए, इन वीडियो में से कुछ देखें:

दूसरे वीडियो में, विभिन्न मशीन लर्निंग तकनीकों का उपयोग किया जाता है।

तो, संगीत में शैली का स्थानांतरण, औपचारिक रूप से, औपचारिक रूप से कठिन है। अन्य प्रमुख कारक हैं जो कार्य को जटिल करते हैं:

1. मशीनें बीएडी संगीत (अभी के लिए) को समझती हैं: चित्रों में शैली को स्थानांतरित करने में सफलता, DNN की सफलता से संबंधित छवियों को समझने में काम करती है, जैसे कि ऑब्जेक्ट मान्यता। क्योंकि DNN उन वस्तुओं को सीख सकते हैं जो वस्तुओं में भिन्न होती हैं, सामग्री के गुणों से मेल खाने के लिए लक्ष्य छवि को संशोधित करने के लिए बैक-प्रोपगेशन तकनीकों का उपयोग किया जा सकता है। यद्यपि हमने DNN- आधारित मॉडल बनाने में महत्वपूर्ण प्रगति की है जो संगीत कार्यों को समझने में सक्षम हैं (उदाहरण के लिए, धुनों को स्थानांतरित करना, एक शैली को परिभाषित करना, आदि), हम अभी भी छवि प्रसंस्करण में प्राप्त ऊंचाइयों से दूर हैं। यह संगीत में शैली के हस्तांतरण के लिए एक गंभीर बाधा है। मौजूदा मॉडल बस "उत्कृष्ट" गुणों को नहीं सीख सकते हैं जो संगीत को वर्गीकृत करने की अनुमति देते हैं, जिसका अर्थ है कि छवियों के साथ काम करते समय उपयोग किए जाने वाले शैली हस्तांतरण एल्गोरिदम का प्रत्यक्ष आवेदन समान परिणाम नहीं देता है।
2. संगीत क्षणभंगुर है : यह गतिशील श्रृंखला का प्रतिनिधित्व करने वाला डेटा है, जो कि समय के साथ एक संगीतमय टुकड़ा है। यह सीखने को जटिल बनाता है। यद्यपि आवर्तक तंत्रिका नेटवर्क और LSTM (लॉन्ग शॉर्ट-टर्म मेमोरी) आपको क्षणिक डेटा से अधिक सीखने की अनुमति देते हैं, फिर भी हमें विश्वसनीय मॉडल बनाने होंगे जो सीख सकते हैं कि संगीत की दीर्घकालिक संरचना को कैसे पुन: पेश करें (नोट: यह शोध का एक वास्तविक क्षेत्र है, और Google टीम के वैज्ञानिक हैं। मजेंटा ने इसमें कुछ सफलता हासिल की है)।
3. संगीत असतत है (कम से कम प्रतीकात्मक स्तर पर): प्रतीकात्मक, या संगीत कागज पर दर्ज किया गया है, प्रकृति में असतत है। समान रूप से स्वभाव में , आज सबसे लोकप्रिय संगीत वाद्ययंत्र ट्यूनिंग सिस्टम है, ध्वनि की आवृत्ति निरंतर आवृत्ति पैमाने पर असतत पदों पर कब्जा कर लेती है। इसी समय, टोन की अवधि भी असतत स्थान (आमतौर पर तिमाही टन, पूर्ण टन और इसी तरह) में निहित है। इसलिए, प्रतीकात्मक संगीत के क्षेत्र में पिक्सेल बैक प्रसार विधियों (छवियों के साथ काम करने के लिए उपयोग किया जाता है) को अनुकूलित करना बहुत मुश्किल है।

एक समान स्वभाव में संगीत नोटों की असतत प्रकृति।

इसलिए, छवियों में शैली को स्थानांतरित करने के लिए उपयोग की जाने वाली तकनीक सीधे संगीत पर लागू नहीं होती है। ऐसा करने के लिए, उन्हें संगीत अवधारणाओं और विचारों पर जोर देने के साथ संसाधित करने की आवश्यकता है।

संगीत में शैली के हस्तांतरण के लिए क्या है?

आपको इस समस्या को हल करने की आवश्यकता क्यों है? छवियों के साथ, संगीत में शैली हस्तांतरण के संभावित उपयोग काफी दिलचस्प हैं। उदाहरण के लिए, संगीतकार की सहायता के लिए एक उपकरण विकसित करना । उदाहरण के लिए, विभिन्न शैलियों से व्यवस्था का उपयोग करके एक राग को बदलने में सक्षम एक स्वचालित उपकरण उन रचनाकारों के लिए बेहद उपयोगी होगा जिन्हें विभिन्न विचारों को जल्दी से आज़माने की आवश्यकता है। डीजे भी ऐसे उपकरणों में रुचि लेंगे।

इस तरह के अनुसंधान का एक अप्रत्यक्ष परिणाम संगीत सूचना विज्ञान प्रणालियों में एक महत्वपूर्ण सुधार होगा। जैसा कि ऊपर बताया गया है, संगीत में काम करने के लिए शैली के हस्तांतरण के लिए, हम जो मॉडल बनाते हैं, उन्हें विभिन्न पहलुओं को बेहतर ढंग से "समझना" सीखना होगा।

संगीत में शैली को स्थानांतरित करने के कार्य को सरल बनाएं

आइए विभिन्न शैलियों में मोनोफोनिक धुनों का विश्लेषण करने के एक बहुत ही सरल कार्य के साथ शुरू करें। मोनोफोनिक धुन नोटों के अनुक्रम हैं, जिनमें से प्रत्येक टोन और अवधि द्वारा निर्धारित किया जाता है। अधिकांश भाग के लिए पिच की प्रगति राग के पैमाने पर निर्भर करती है, और अवधि की प्रगति लय पर निर्भर करती है। तो पहले, हम स्पष्ट रूप से " पिच सामग्री" और "लयबद्ध शैली" को दो संस्थाओं के रूप में अलग करते हैं जिनके साथ आप शैली को स्थानांतरित करने के कार्य को फिर से लागू कर सकते हैं। इसके अलावा, मोनोफोनिक धुनों के साथ काम करते समय, अब हम व्यवस्था और पाठ से जुड़े कार्यों से बचेंगे।

पूर्व-प्रशिक्षित मॉडल की अनुपस्थिति में जो मोनोफोनिक धुनों के स्वर प्रगति और लय के बीच सफलतापूर्वक अंतर कर सकते हैं, हम पहली बार शैली को स्थानांतरित करने के लिए एक बहुत ही सरल दृष्टिकोण का सहारा लेते हैं। लक्ष्य ताल पर सीखी गई लयबद्ध शैली के साथ लक्ष्य राग पर सीखी गई स्वर सामग्री को बदलने की कोशिश करने के बजाय, हम अलग-अलग विधाओं से स्वर और अवधियों के पैटर्न को सिखाने के लिए व्यक्तिगत रूप से प्रयास करेंगे, और फिर उन्हें संयोजित करने का प्रयास करेंगे। दृष्टिकोण की अनुमानित योजना:

इंटरजेनर शैली हस्तांतरण की पद्धति की योजना।

हम अलग-अलग स्वर और ताल प्रगति सिखाते हैं

डेटा प्रस्तुति

हम संगीत नोटों के अनुक्रम के रूप में मोनोफोनिक धुन पेश करेंगे, जिनमें से प्रत्येक में एक टोन इंडेक्स और एक अनुक्रम है। अपनी प्रस्तुति को स्वतंत्र बनाने के लिए, हम अंतराल-आधारित दृश्य का उपयोग करेंगे: अगले नोट के स्वर को पिछले नोट के स्वर से विचलन (iation सेमीटोन) के रूप में प्रस्तुत किया जाएगा। आइए टोन और अवधि के लिए दो शब्दकोश बनाएं जिसमें प्रत्येक असतत अवस्था (टोन के लिए: +1, -1, +2, -2, और इसी तरह, अवधि के लिए: एक चौथाई नोट, एक पूर्ण नोट, एक डॉट के साथ एक चौथाई, और इसी तरह) एक सूचकांक सौंपा गया है। शब्दकोश।

डेटा की प्रस्तुति।

मॉडल वास्तुकला

हम उसी आर्किटेक्चर का उपयोग करेंगे जिसका उपयोग कोलंबो और उनके सहयोगियों ने किया था - उन्होंने एक ही संगीत शैली के लिए दो LSTM तंत्रिका नेटवर्क सिखाए: a) स्वर नेटवर्क ने पिछले नोट और पिछली अवधि के आधार पर अगले टोन की भविष्यवाणी करना सीखा, b) अगले नोट के आधार पर अगली अवधि की भविष्यवाणी करने के लिए सीखा गया अवधि नेटवर्क और पिछली अवधि। इसके अलावा, LSTM नेटवर्क से पहले, हम एंबेडेड लेयर्स को जोड़ेंगे ताकि मेम्बर्स एंबेड स्पेस में इनपुट टोन इंडेक्स और ड्यूरेशन की तुलना की जा सके। तंत्रिका नेटवर्क की वास्तुकला को चित्र में दिखाया गया है:

प्रशिक्षण प्रक्रिया

प्रत्येक शैली के लिए, टोन और अवधि के लिए जिम्मेदार नेटवर्क को एक ही समय में प्रशिक्षित किया जाता है। हम दो डेटासेट का उपयोग करेंगे: ए) नॉर्बेक लोक डेटासेट , लगभग 2,000 आयरिश और स्वीडिश लोक धुनों को कवर, बी) एक जैज डेटासेट (सार्वजनिक रूप से उपलब्ध नहीं), लगभग 500 जैज़ धुनों को कवर करते हुए।

प्रशिक्षित मॉडल को शामिल करना

परीक्षण के दौरान, माधुर्य पहले टोन नेटवर्क और पहली शैली (उदाहरण के लिए, लोक) में प्रशिक्षित अवधि नेटवर्क का उपयोग करके उत्पन्न होता है। फिर उत्पन्न राग से स्वरों के अनुक्रम का प्रयोग दूसरी शैली में प्रशिक्षित दृश्यों के नेटवर्क के लिए किया जाता है (कहते हैं, जैज़), और इसका परिणाम नए अनुक्रम का है। इसलिए, दो तंत्रिका नेटवर्क के संयोजन का उपयोग करके बनाई गई एक राग में पहली शैली (लोक) के अनुरूप स्वर का क्रम होता है और दूसरी शैली (जैज) के अनुरूप अवधि का क्रम होता है।

प्रारंभिक परिणाम

परिणामी धुनों में से कुछ अंश:
फोक टोन और फोक ड्यूरेशन

संगीत संकेतन से निकालें।

फोक टोन और जैज ड्यूरेशन

संगीत संकेतन से निकालें।

जैज़ टोन और जैज़ सीक्वेंस

संगीत संकेतन से निकालें ।

जैज टोन और लोक अनुक्रम

संगीत संकेतन से निकालें।

निष्कर्ष

यद्यपि वर्तमान एल्गोरिथ्म के साथ शुरू करने के लिए बुरा नहीं है, इसमें कई महत्वपूर्ण कमियां हैं:

1. एक विशिष्ट लक्ष्य राग के आधार पर "स्थानांतरण शैली" असंभव है । मॉडल एक शैली में टोन और अवधि के पैटर्न सीखते हैं, जिसका अर्थ है कि सभी परिवर्तन शैली द्वारा निर्धारित किए जाते हैं। यह एक विशिष्ट लक्ष्य गीत या टुकड़े की शैली में संगीत के एक टुकड़े को संशोधित करने के लिए आदर्श होगा।
2. शैली परिवर्तन की डिग्री को नियंत्रित करना संभव नहीं है । इस पहलू को नियंत्रित करने के लिए एक "हैंडल" प्राप्त करना बहुत दिलचस्प होगा।
3. जब शैलियों का विलय हो जाता है, तो एक परिवर्तित संगीत में संगीत संरचना को संरक्षित करना असंभव होता है । सामान्य रूप से संगीत मूल्यांकन के लिए एक लंबी अवधि की संरचना महत्वपूर्ण है, और उत्पन्न धुनों के लिए संगीतमय सौंदर्य के लिए, संरचना को संरक्षित किया जाना चाहिए।

निम्नलिखित लेखों में, हम इन कमियों को दरकिनार करने के तरीकों पर गौर करेंगे।