Artezio में मशीन सीखने के पाठ्यक्रमों में , मैं एक सीखने के मॉडल से मिला जो संगीत बना सकता था। संगीत मेरे जीवन का एक अनिवार्य हिस्सा है, कई सालों तक मैंने समूहों में खेला (पंक रॉक, रेग, हिप-हॉप, रॉक, आदि) और एक कट्टर श्रोता हूं।

दुर्भाग्य से, कई समूह, जिनमें से मैं अपनी युवावस्था में बड़ा प्रशंसक था, विभिन्न कारणों से टूट गया। या वे टूट नहीं गए, लेकिन अब वे क्या रिकॉर्ड कर रहे हैं ... सामान्य तौर पर, अगर वे टूट गए तो बेहतर होगा।

मैं उत्सुक था कि क्या अब एक तैयार मॉडल है जो मेरे पसंदीदा समूहों में से एक की पटरियों पर सीख सकता है और समान रचनाएं बना सकता है। चूंकि संगीतकार स्वयं अब बहुत सफल नहीं हैं, शायद तंत्रिका नेटवर्क उन्हें संभाल सकता है?

स्रोत

तैयार मॉडल का अध्ययन करते हुए, मैंने जल्दी से छह सबसे प्रसिद्ध विकल्पों के अवलोकन के साथ इस तरह के लेख पर ठोकर खाई। यह निश्चित रूप से, डिजिटल संगीत प्रारूपों के बारे में है। यह लेख से देखा जा सकता है कि संगीत पीढ़ी के दो मुख्य दृष्टिकोणों को प्रतिष्ठित किया जा सकता है: डिजीटल ऑडियो स्ट्रीम (स्पीकर से सुनने वाली ध्वनि - कच्चे ऑडियो, wav फ़ाइलें) और MIDI (संगीत संकेतन) के साथ काम पर आधारित।

मैंने कच्चे ऑडियो के साथ विकल्पों को गिरा दिया, और इसीलिए।

परिणाम प्रभावशाली नहीं हैं - पॉलीफोनिक संगीत के लिए ऐसे मॉडल का उपयोग बहुत विशिष्ट परिणाम देता है। यह असामान्य है, आप दिलचस्प पेंटिंग बना सकते हैं, लेकिन यह मेरे उद्देश्यों के लिए उपयुक्त नहीं है: यह अजीब लगता है, लेकिन मैं मूल के समान कुछ सुनना चाहता था।

स्रोत

पियानो संगीत के साथ एक अच्छा उदाहरण:

और आर्केस्ट्रा संगीत या रॉक के साथ, यह बहुत अधिक अजीब लगता है:

यहां लोगों ने ब्लैक मेटल को न केवल कच्चे ऑडियो में संसाधित करने का प्रयास किया।

मेरे पसंदीदा बैंड की रचनाओं में, विभिन्न वाद्ययंत्र बजते हैं - स्वर, ड्रम, बास, गिटार, सिंथेसाइज़र। प्रत्येक उपकरण बाकी के साथ लगता है। मैं एक ऐसे मॉडल की तलाश में हूं जो उसी तरह से काम करे, जो न केवल व्यक्तिगत साधनों के साथ काम करेगा, बल्कि इसकी संयुक्त ध्वनि को भी ध्यान में रखेगा।

जब एक संगीतकार को कान द्वारा एक उपकरण का एक हिस्सा सीखने की आवश्यकता होती है, तो वह उस उपकरण को अलग करने की कोशिश करता है जिसे उसे पूरे ध्वनि प्रवाह से चाहिए। तब तक वह अपनी ध्वनि दोहराता है जब तक कि वह एक समान परिणाम प्राप्त नहीं करता है। अच्छी सुनवाई वाले व्यक्ति के लिए भी कार्य सबसे आसान नहीं है - संगीत कठिन हो सकता है, उपकरण "मर्ज" कर सकते हैं।

स्रोत

मुझे ऐसे सॉफ्टवेयर टूल मिले जो एक समान समस्या को हल करने की कोशिश करते थे। ऐसे कई प्रोजेक्ट हैं जो मशीन लर्निंग के आधार पर ऐसा करते हैं। उदाहरण के लिए, जब मैं यह पाठ लिख रहा था, तब मैजेंटा ने एक नया उपकरण, वेव 2 मिडी 2वेव जारी किया, जो पियानो के नोटों को "बंद" करने और वास्तविक रूप से "उन्हें वापस खेलने" में सक्षम था। अन्य उपकरण हैं, हालांकि सामान्य तौर पर यह कार्य अभी तक हल नहीं हुआ है।

तो, एक काम से एक हिस्सा सीखने के लिए, तैयार किए गए नोटों को लेना सबसे आसान है। यह सबसे आसान तरीका है। यह मानना तर्कसंगत है कि तंत्रिका नेटवर्क के लिए संगीत के संगीत प्रतिनिधित्व के साथ काम करना आसान होगा, जहां प्रत्येक उपकरण एक अलग ट्रैक द्वारा दर्शाया जाता है।

कच्चे ऑडियो के मामले में, परिणाम सभी उपकरणों का एक मिश्रण है, भागों को व्यक्तिगत रूप से सीक्वेंसर (ऑडियो एडिटर) में लोड नहीं किया जा सकता है, सही किया जाता है, ध्वनि को बदल दिया जाता है, और इसी तरह। अगर तंत्रिका नेटवर्क हिट करता है, तो मैं काफी खुश हूं, लेकिन कुछ नोट्स में गलती करता है - जब नोट्स के साथ काम करते हैं, तो मैं उन्हें आसानी से ठीक कर सकता हूं, कच्चे ऑडियो के साथ यह लगभग असंभव है।

संगीत संकेतन की अपनी कमियां भी हैं। यह प्रदर्शन की बारीकियों को ध्यान में नहीं रखता है। जब मिडी की बात आती है, तो यह हमेशा ज्ञात नहीं होता है कि ये मिडी फाइलें कौन थीं, वे मूल के कितने करीब हैं। हो सकता है कि कंपाइलर ने बस एक गलती की हो, क्योंकि यह गेम को "हटाने" का आसान काम नहीं है।

पॉलीफोनिक नोट्स के साथ काम करते समय, यह सुनिश्चित करना आवश्यक है कि किसी भी समय उपकरण धुन में हों। इसके अलावा, यह महत्वपूर्ण है कि इन पलों का क्रम मानवीय दृष्टिकोण से तार्किक हो, संगीत।

यह पता चला कि बहुत सारे समाधान नहीं हैं जो नोटों के साथ काम कर सकते हैं, और यहां तक कि एक उपकरण के साथ भी नहीं, लेकिन एक ही समय में कई ध्वनियों के साथ। मैंने शुरुआत में Google TensorFlow की मैजेंटा परियोजना को अनदेखा कर दिया था, क्योंकि इसे "पॉलीफोनिक नहीं" के रूप में वर्णित किया गया था। उस समय, MusicVAE लाइब्रेरी अभी तक प्रकाशित नहीं हुई थी, इसलिए मैं BachBot प्रोजेक्ट पर बस गया।

स्रोत

BachBot

यह पता चला कि मेरी समस्या का हल पहले से मौजूद है। BachBot द्वारा ट्यून किए गए हैप्पी बर्थडे को सुनें और Bach chorale की तरह लगें।

चोरल एक विशिष्ट संगीत है, इसमें चार स्वर होते हैं: सोप्रानो, वायोला, टेनोर और बास। प्रत्येक उपकरण एक बार में एक नोट का उत्पादन कर सकता है। यहां आपको संगीत में थोड़ा गहराई में जाना होगा। हम चार तिमाहियों के आयाम में संगीत के बारे में बात करेंगे।

एक संगीत संकेतन में, एक नोट में दो संकेतक होते हैं - पिच (, फिर से, एमआई ...) और अवधि (पूर्णांक, आधा, आठवें, सोलहवें, तीस सेकंड)। तदनुसार, एक पूरा नोट एक पूरे बीट, दो आधे नोट एक पूरे बीट, सोलह सोलहवें पूरे बीट को पूरा करता है।

तंत्रिका नेटवर्क के प्रशिक्षण के लिए डेटा तैयार करने में, BachBot के रचनाकारों ने निम्नलिखित बातों को ध्यान में रखा:

आदेश में विभिन्न कुंजियों से जीवा के साथ मॉडल को नीचे दस्तक नहीं करने के लिए, जो एक साथ सामंजस्यपूर्ण नहीं लगेगी, सभी चोरों ने एक ही कुंजी का नेतृत्व किया;
तंत्रिका नेटवर्क को असतत मूल्यों के साथ आपूर्ति की जानी चाहिए, और संगीत एक सतत प्रक्रिया है, जिसका अर्थ है कि विवेक आवश्यक है। एक उपकरण एक लंबा, पूरा नोट और दूसरा एक ही समय में कुछ सोलहवीं बजा सकता है। इस समस्या को हल करने के लिए, सभी नोट सोलहवीं में टूट गए। दूसरे शब्दों में, यदि नोटों में एक चौथा नोट होता है, तो यह सोलहवें इनपुट के समान चार बार आता है - पहली बार उस ध्वज के साथ जिसे इसे दबाया गया था, और अगले तीन बार ध्वज के साथ जो कि जारी है।

डेटा प्रारूप निम्नानुसार है - (पिच, नया नोट। पुराने नोट की ध्वनि को जारी रखना)

(56, सच) # सोप्रानो
(52, झूठी) # Alt
(47, गलत) # टेनर
(38, गलत) # बास

इस प्रक्रिया के माध्यम से लोकप्रिय म्यूज़िक 21 डाटासेट से सभी कोरल को संचालित करने के बाद, बैचबॉट लेखकों ने पाया कि कोरल में चार नोटों के संयोजन के कई संयोजन नहीं हैं (यदि आप उन्हें एक ही कुंजी पर लाते हैं), हालांकि ऐसा लगता है कि संभवतः 128 x 128 x हो सकता है 128 x 128 (मिडी में उपयोग किए जाने वाले 128 पिच स्तर)। एक सशर्त शब्दकोश का आकार उतना बड़ा नहीं है। यह एक जिज्ञासु टिप्पणी है, जब हम MusicVAE के बारे में बात करेंगे तो हम इसमें वापस लौट आएंगे। तो, हमारे पास इस तरह के चौकों के दृश्यों के रूप में रिकॉर्ड किए गए बाच चोरेल्स हैं।

अक्सर कहा जाता है कि संगीत एक भाषा है। इसलिए, यह आश्चर्य की बात नहीं है कि BachBot के रचनाकारों ने संगीत में NLP (प्राकृतिक भाषा प्रसंस्करण) में लोकप्रिय तकनीक को लागू किया, अर्थात् उन्होंने उत्पन्न डेटासेट पर LSTM नेटवर्क को प्रशिक्षित किया और एक मॉडल प्राप्त किया जो एक या कई उपकरणों को पूरक कर सकता था या खरोंच से कोरल भी बना सकता था। यही है, आप Alt, टेनॉर और बास सेट करते हैं, और BachBot आपके लिए सोप्रानो मेलोडी जोड़ता है, और साथ में यह Bach की तरह लगता है।

यहाँ एक और उदाहरण है:

बहुत अच्छा लगता है!

आप इस वीडियो को और अधिक विस्तार से देख सकते हैं। वहाँ एक दिलचस्प विश्लेषिकी है, साइट bachbot.com पर एक सर्वेक्षण के आधार पर एकत्र की गई है

उपयोगकर्ताओं को तंत्रिका नेटवर्क द्वारा बनाए गए संगीत से मूल बाच कोरल को अलग करने के लिए प्रोत्साहित किया जाता है। परिणामों का उल्लेख है कि यदि कोई तंत्रिका नेटवर्क अन्य सभी सेटिंग्स के लिए एक बास भाग बनाता है, तो केवल आधे उपयोगकर्ता मूल नेटवर्क से तंत्रिका नेटवर्क द्वारा बनाए गए कोरल को अलग कर सकते हैं। मजेदार, लेकिन सभी संगीत विशेषज्ञों में से अधिकांश भ्रमित हो जाते हैं। अन्य उपकरणों के साथ, चीजें थोड़ी बेहतर हैं। यह मुझे एक बास खिलाड़ी के रूप में अपमानजनक लगता है - वायलिन वादक को समय की आवश्यकता लगती है, लेकिन यह बास खिलाड़ियों के लिए ड्राईवल कौशल पर ब्रश करने का समय है।

मैजेंटा

BachBot का अध्ययन करते हुए, मैंने पाया कि यह मैजेंटा प्रोजेक्ट (Google TensorFlow) में शामिल था। मैंने इसे करीब से देखने का फैसला किया और पाया कि मैजेंटा के ढांचे के भीतर कई दिलचस्प मॉडल विकसित किए गए हैं, जिनमें से एक सिर्फ पॉलीफोनिक रचनाओं के साथ काम करने के लिए समर्पित है। मैजेंटा ने अपने अद्भुत उपकरण बनाए और यहां तक कि एबल्टन ऑडियो एडिटर के लिए पहले से ही प्लगइन लॉन्च किया, जो संगीतकारों के लिए आवेदन के मामले में विशेष रूप से अच्छा है।

मेरा पसंदीदा: beat ब्लेंडर (एक दिए गए ड्रम भाग पर विविधताएं बनाता है) और
अव्यक्त लूप (धुन के बीच संक्रमण पैदा करता है)।

MusicVAE उपकरण का मुख्य विचार, जिसे मैंने उपयोग करने का निर्णय लिया, वह यह है कि रचनाकारों ने LSTM नेटवर्क पर मॉडल और परिवर्तनशील ऑटो एनकोडर - VAE को संयोजित करने का प्रयास किया।

यदि आपको याद है, बाख बॉट के बारे में एक बातचीत में, हमने देखा कि राग शब्दकोश में 128x128x128x128 तत्व शामिल नहीं हैं, लेकिन बहुत कम। MusicVAE के रचनाकारों ने भी इस पर ध्यान दिया और एक संपीड़ित अव्यक्त स्थान का उपयोग करने का निर्णय लिया।

वैसे, जो विशिष्ट है, MusicVAE के प्रशिक्षण के लिए, आपको स्रोतों को एक कुंजी में अनुवाद करने की आवश्यकता नहीं है। ट्रांसपोज़िंग आवश्यक नहीं है, मुझे लगता है, क्योंकि स्रोत कोड अभी भी ऑटो-एनकोडर द्वारा परिवर्तित किया जाएगा और टन सूचना गायब हो जाएगी।

वीएई को इस तरह से डिज़ाइन किया गया है जो डिकोडर को प्रशिक्षण डेटासेट से डेटा को कुशलतापूर्वक पुनर्प्राप्त करने की अनुमति देता है, जबकि अव्यक्त स्थान इनपुट डेटा की सुविधाओं के एक सुचारू वितरण का प्रतिनिधित्व करता है।

यह बहुत महत्वपूर्ण बिंदु है। यह समान वस्तुओं को बनाने और तार्किक रूप से सार्थक प्रक्षेप करने के लिए संभव बनाता है। मूल स्थान में, हमारे पास चार नोटों की ध्वनि के संयोजन के 128x128x128x128 संस्करण हैं, लेकिन वास्तव में, सभी का उपयोग नहीं किया जाता है (वे मानव कान के लिए अच्छा लगता है)। एक परिवर्तनशील ऑटो एनकोडर उन्हें एक छिपे हुए स्थान में बहुत छोटे सेट में बदल देता है, और आप इस अंतरिक्ष में गणितीय कार्यों के साथ आ सकते हैं जिनका मूल स्थान के दृष्टिकोण से सार्थक अर्थ है, उदाहरण के लिए, पड़ोसी बिंदु समान संगीत टुकड़े होंगे।

एक अच्छा उदाहरण है कि इस लेख में एक ऑटो एनकोडर का उपयोग करके एक तस्वीर में चश्मा कैसे जोड़ा जाए। आप इस लेख में आधिकारिक मैजेंटा वेबसाइट पर Muisc VAE के काम करने के तरीके के बारे में अधिक पढ़ सकते हैं, arXiv के लिए एक लिंक भी है।

इसलिए, साधन का चयन किया जाता है, यह मेरे मूल लक्ष्य के साथ इसका उपयोग करने के लिए रहता है - पहले से रिकॉर्ड किए गए पटरियों के आधार पर नया संगीत बनाने और मूल्यांकन करने के लिए कि यह मूल समूह की ध्वनि की तरह कितना ध्वनि करेगा। मजेंटा मेरे विंडोज लैपटॉप पर काम नहीं करता है और लंबे समय से यह एक GPU के बिना एक मॉडल की गणना कर रहा है। आभासी मशीनों, एक डॉक कंटेनर आदि से पीड़ित होने के बाद, मैंने बादल का उपयोग करने का फैसला किया।

Google कोलैब नोटबुक प्रदान करता है जहाँ आप मैजेंटा मॉडल का उपयोग कर सकते हैं। हालांकि, मेरे मामले में, मॉडल को प्रशिक्षित करना संभव नहीं था, विभिन्न प्रतिबंधों के कारण प्रक्रिया हर समय दुर्घटनाग्रस्त हो गई - उपलब्ध पुस्तकालयों को स्थापित करने के लिए उपलब्ध मेमोरी, टाइमआउट शटडाउन, एक सामान्य कमांड लाइन की कमी और रूट अधिकारों की मात्रा। Hypothetically, वहाँ भी GPU का उपयोग करने का अवसर है, लेकिन, मैं दोहराता हूं, मैं मॉडल स्थापित नहीं कर सका और इसे शुरू कर सकता हूं।

मैं एक सर्वर खरीदने के बारे में सोच रहा था और, ओह, सौभाग्य, मैंने पाया कि Google एक जीपीयू के साथ Google क्लाउड क्लाउड सेवाएं प्रदान करता है, और यहां तक कि नि: शुल्क परीक्षण अवधि भी है। सच है, यह पता चला है कि रूस में वे आधिकारिक तौर पर केवल कानूनी संस्थाओं के लिए उपलब्ध हैं, लेकिन उन्होंने मुझे एक नि: शुल्क परीक्षण मोड में जाने दिया।

इसलिए, मैंने Googleक्लाउड में एक जीपीयू मॉड्यूल के साथ एक वर्चुअल मशीन बनाई, जो मेरे पसंदीदा समूहों में से एक की कई मिडी फ़ाइलों को इंटरनेट पर पाया और उन्हें क्लाउड में मिडी फ़ोल्डर में अपलोड किया।

मजेंटा स्थापित करें:

pip install magenta-gpu

यह बहुत अच्छा है कि यह सब एक टीम के साथ स्थापित किया जा सकता है, मैंने सोचा, लेकिन ... गलतियाँ। ऐसा लगता है जैसे आपको कमांड लाइन को छूना है, क्षमा करें।

हम त्रुटियों को देखते हैं: rtmidi लाइब्रेरी क्लाउड मशीन पर स्थापित नहीं है, जिसके बिना मैजेंटा काम नहीं करता है।

और यह, बदले में, libasound2-dev पैकेज की कमी के कारण क्रैश होता है, और मेरे पास रूट विशेषाधिकार भी नहीं हैं।

इतना डरावना नहीं:

 sudo su root apt-get install libasound2-dev

हुर्रे, अब पाइप स्थापित करें rtmidi त्रुटियों के बिना चलता है, जैसा कि पाइप मैजेंटा-जीपीयू स्थापित करता है।

हम इंटरनेट पर पाते हैं और मिडी फ़ोल्डर में स्रोत फ़ाइलों को डाउनलोड करते हैं। वे कुछ इस तरह से आवाज लगाते हैं ।

हम मिडी को एक डेटा प्रारूप में परिवर्तित करते हैं जो नेटवर्क पहले से ही काम कर सकता है:

 convert_dir_to_note_sequences \ --input_dir=midi\ --hparams=sampling_rate=1000.0\ --output_file=notesequences_R2Midi.tfrecord \ --log=DEBUG \ --recursive

और प्रशिक्षण शुरू करें

 music_vae_train \ --config=hier-multiperf_vel_1bar_med \ --run_dir=/home/RNCDtrain/ \ --num_steps=1 \ --checkpoints_to_keep=2 \ --hparams=sampling_rate=1000.0 \ --hparams=batch_size=32,learning_rate=0.0005 \ --num_steps=5000 \ --mode=train \ --examples_path=notesequences_R2Midi.tfrecord

फिर से समस्या। टेन्सरफ़्लो एक त्रुटि के साथ दुर्घटनाग्रस्त हो जाता है - यह पुस्तकालय नहीं पा सकता है, सौभाग्य से, कुछ दिनों पहले किसी ने इस त्रुटि का वर्णन किया है, और पायथन स्रोतों को ठीक किया जा सकता है।

हम फ़ोल्डर में चढ़ते हैं

 /usr/local/lib/python2.7/dist-packages/tensorflow_probability/python/distributions#

और आयात लाइन को प्रतिस्थापित करें, जैसा कि गितुब पर बग में वर्णित है।

Music_vae_train को फिर से लॉन्च करें और ... हुर्रे! प्रशिक्षण चला गया है!

स्रोत

hier-multiperf_vel_1bar_med - मैं एक पॉलीफोनिक मॉडल (8 उपकरणों तक) का उपयोग करता हूं जो प्रत्येक को एक माप पैदा करता है।

एक महत्वपूर्ण पैरामीटर है चौकियों_तो_की = 2, बादलों में डिस्क की क्षमता सीमित है, समस्याओं में से एक यह है कि डिस्क ओवरफ्लो के कारण हर समय सीखने की प्रक्रिया बाधित हो गई है, चौकियां काफी भारी हैं - 0.6-1 गीगाबाइट प्रत्येक।

5000 युगों में, त्रुटि 40-70 के आसपास कूदने लगती है। मुझे नहीं पता कि यह एक अच्छा परिणाम है या नहीं, लेकिन ऐसा लगता है कि थोड़े से प्रशिक्षण डेटा के साथ, नेटवर्क को आगे पीछे किया जाएगा और जीपीयू के समय को बर्बाद करने का कोई मतलब नहीं है, इसलिए कृपया मुझे Google डेटा केंद्रों में मुफ्त में प्रदान करें। हम पीढ़ी दर पीढ़ी गुजरते हैं।

किसी कारण से, जब मैजेंटा को स्थापित करना पीढ़ी फ़ाइल को स्थापित नहीं करता था, तो मुझे इसे अपने हाथों से दूसरों को फ़ोल्डर में छोड़ना पड़ा:

 curl -o music_vae_generate.py https://raw.githubusercontent.com/tensorflow/magenta/master/magenta/models/music_vae/music_vae_generate.py

अंत में, टुकड़े बनाएँ:

 music_vae_generate --config=hier-multiperf_vel_1bar_med --checkpoint_file=/home/RNCDtrain/train/ --mode=sample --num_outputs=32 --output_dir=/home/andrey_shagal/  --temperature=0.3

विन्यास - पीढ़ी का प्रकार, प्रशिक्षण के दौरान बिल्कुल वैसा ही - मल्टीट्रैक, 1 घड़ी
checkpoint_file - फ़ोल्डर जहां प्रशिक्षित मॉडल के साथ अंतिम फ़ाइल प्राप्त करने के लिए
मोड - नमूना - एक नमूना बनाएं (एक और विकल्प इंटरपोलेट है - दो उपायों के बीच एक संक्रमण उपाय बनाएं)
num_outputs - कितने टुकड़े उत्पन्न करने हैं
तापमान - ० से १. सैंपल बनाते समय एक रैंडमाइजेशन पैरामीटर। ० पर, परिणाम अधिक अनुमानित है, स्रोत के करीब, १ - मैं एक कलाकार हूं, जैसा कि मैं इसे देखता हूं।

आउटपुट पर, मुझे प्रति माप 32 टुकड़े मिलते हैं। जनरेटर को कई बार शुरू करने के बाद, मैं टुकड़ों को सुनता हूं और एक ट्रैक में सबसे अच्छा गोंद करता हूं: neurancid.mp3।

इसलिए "मैंने इस गर्मी को बिताया।" मैं संतुष्ट हूं। बेशक, रेडियो "मैक्सिमम" इसे प्लेलिस्ट में लेने की संभावना नहीं है, लेकिन अगर आप सुनते हैं, तो यह वास्तव में मूल रैंकिग समूह जैसा दिखता है। ध्वनि, बेशक, स्टूडियो रिकॉर्डिंग से अलग है, लेकिन हमने मुख्य रूप से नोट्स के साथ काम किया है। इसके अलावा, कार्रवाई के लिए जगह है - विभिन्न वीएसटी प्लग-इन के साथ प्रक्रिया मिडी, लाइव संगीतकारों के साथ पुन: रिकॉर्ड भागों या वेव 2 मिडी 2 वेव से जब तक लोग अधिभार के साथ गिटार तक नहीं पहुंचते, तब तक प्रतीक्षा करें।

नोटों के बारे में कोई शिकायत नहीं है। आदर्श रूप में, मैं चाहता हूं कि न्यूरल नेटवर्क एक उत्कृष्ट कृति बनाये या कम से कम बिलबोर्ड टॉप 100 के लिए एक हिट हो। लेकिन जब उसने रॉकर्स से ~~शराब और ड्रग्स~~ का ~~उपयोग~~ करना सीखा , तो पूरे नोट को एग्थ में खेलने के लिए कहा (वास्तव में, न केवल, लेकिन मुझे उसके पिता पर गर्व है। 20 से 22 सेकंड तक संक्रमण)। इसके कारण हैं, और उनके बारे में अधिक।

छोटी मात्रा में डेटा।
मैंने जिस मॉडल का उपयोग किया, वह एक माप के आकार में टुकड़े पैदा करता है। पंक रॉक में, एक नियम के रूप में, एक ही उपाय के भीतर कई घटनाएं नहीं होती हैं।
दिलचस्प बदलाव और माधुर्य सिर्फ पिच की चट्टानों की पृष्ठभूमि के खिलाफ काम करते हैं, कॉर्ड से कॉर्ड तक संक्रमण, और ऑटो-एनकोडर, एक साथ डेटा की एक छोटी राशि के साथ, लगता है कि अधिकांश धुनों को खो दिया है, और यहां तक कि सभी चट्टानों को दो व्यंजन और कई आटोनल जीवाओं में भी घटाया है। हमें एक मॉडल की कोशिश करने की ज़रूरत है जो 16 उपायों के साथ काम करता है, यह एक दया है कि इसमें केवल तीन आवाज़ें उपलब्ध हैं।

मैंने डेवलपर्स से संपर्क किया, उन्होंने अव्यक्त स्थान के आयाम को कम करने की कोशिश करने की सिफारिश की, क्योंकि उन्होंने 200,000 पटरियों पर अपने नेटवर्क को प्रशिक्षित किया, और मैंने 15. पर प्रशिक्षण दिया। मैं जेड-स्पेस को कम करने के दृश्य प्रभाव को प्राप्त नहीं कर सका, लेकिन अभी भी कुछ छेड़छाड़ करने के लिए है।

वैसे, एकरसता और एकरसता हमेशा एक माइनस से दूर होती है। शर्मनाक रिवाजों से लेकर तकनीकी पार्टियों तक, जैसा कि आप जानते हैं, एक कदम। हमें मॉडल को कुछ इस तरह से प्रशिक्षित करने की कोशिश करनी चाहिए - रेव, टेक्नो, डब, रेग, हिप-हॉप विपक्ष। निश्चित रूप से, सुखद रूप से ज़ोंबी बनाने का मौका है। मुझे बॉबी मार्ले के लगभग 20 गाने मिडी में मिले और वोइला ला, एक बहुत अच्छा लूप है:

मिडी भागों के ऊपर लाइव बास और गिटार के साथ फिर से रिकॉर्ड किया जाता है, जिसे टुकड़ा ध्वनि रसदार बनाने के लिए वीएसटी सिंथेसाइज़र द्वारा संसाधित किया जाता है। मूल में, नेटवर्क ने सिर्फ नोट्स जारी किए। यदि आप उन्हें एक मानक मिडी खिलाड़ी के साथ खेलते हैं, तो ऐसा लगता है:

निश्चित रूप से, यदि आप कई मूल विषयगत ड्रम चित्र बनाते हैं, तो उन्हें बीट ब्लेंडर + बेस के बुनियादी हिस्सों में शुरू करें और एक अव्यक्त लूप के साथ सिंक करें (उनके बारे में अधिक थे), तकनीकी रेडियो के लिए एक एल्गोरिथ्म को चलाने के लिए काफी संभव है जो लगातार नई पटरियों या एक को भी बनाएगा। अंतहीन ट्रैक। अनन्त भनभनाना!

MusicVAE नेटवर्क को प्रशिक्षित करने के लिए 16-बार तिकड़ी टुकड़े - ड्रम, बास और लीड बनाने का अवसर प्रदान करता है। साथ ही काफी दिलचस्प भी। इनपुट डेटा - मल्टीट्रेक मिडी फाइलें - सिस्टम सभी संभावित संयोजनों में त्रिगुणों में विभाजित होता है और आगे इस पर मॉडल को प्रशिक्षित करता है। इस तरह के नेटवर्क में काफी अधिक संसाधनों की आवश्यकता होती है, लेकिन परिणाम तुरंत 16 चक्र होता है! विरोध करना असंभव है। मैंने यह कल्पना करने की कोशिश की कि एक समूह जो रैंकिड और एनओएफ़एक्स के बीच कुछ खेलता है, वह एक दूसरे के लिए समान पटरियों के बारे में प्रशिक्षण के लिए लोड हो सकता है:

मिडी के पुर्ज़ों में लाइव गिटार भी हैं। इस तरह के मानक मिडी खिलाड़ी:

दिलचस्प! यह निश्चित रूप से मेरे पहले समूह से बेहतर है! और वैसे, यह वही मॉडल हमें एक सभ्य मुक्त जैज देता है:

समस्याओं का सामना करना पड़ा:

प्रशिक्षण के इंतजार में लगने वाले समय को कम करने के लिए एक अच्छा, सुविधाजनक स्टैंड का अभाव। मॉडल केवल लिनक्स के तहत काम करता है, प्रशिक्षण एक GPU के बिना बहुत लंबे समय के लिए लंबा है, और हर समय मैं मापदंडों को बदलने की कोशिश करना चाहता हूं और देखें कि क्या होता है। उदाहरण के लिए, "16 चक्रों के तिकड़ी" मॉडल के लिए 100 युग के एक GPU प्रोसेसर के साथ एक क्लाउड सर्वर 8 घंटे गिना जाता है।
एक विशिष्ट मशीन सीखने की समस्या डेटा की कमी है। केवल 15 मिडी फाइलें - यह संगीत को समझने के लिए बहुत छोटा है। तंत्रिका नेटवर्क, मेरी युवावस्था में, छेद के पहले 6 कठोर एल्बमों को नहीं सुनता था, मैं संगीत कार्यक्रमों में नहीं जाता था, यह परिणाम 15 मिडी ट्रैक्स से अज्ञात किसी को भी प्राप्त हुआ जो मूल से बहुत दूर है। अब, यदि आप सेंसर के साथ गिटारवादक के चारों ओर चिपके रहते हैं और हर नोट से हर तरह की आवाज़ निकालते हैं ... तो आइए देखें कि Wave2Midi2WW विचार कैसे विकसित होता है। शायद कुछ वर्षों में इस तरह की समस्या को हल करने में नोटों को मना करना संभव होगा।
संगीतकार को स्पष्ट रूप से ताल में गिरना चाहिए, लेकिन पूरी तरह से नहीं। मिडी सप्ताहांत में, नोटों में कोई गतिशीलता नहीं है (उदाहरण के लिए, ड्रम में), वे सभी एक ही वॉल्यूम पर किए जाते हैं, बिल्कुल एक क्लिक में (जैसा कि संगीतकार कहते हैं, यानी बिल्कुल बीट में), भले ही बेतरतीब ढंग से विविधता हो, संगीत बजना शुरू हो जाता है आजीविका और अधिक सुखद। फिर से, Wave2Midi2Wave पहले से ही इस मुद्दे से निपट रहा है।

अब आपको संगीत और मेरी संगीत वरीयताओं को बनाने में एआई की संभावनाओं के बारे में कुछ पता है। आपको क्या लगता है कि AI भविष्य में रचनात्मक प्रक्रिया का इंतजार करता है? क्या कोई मशीन एक समान पायदान पर संगीत बना सकती है या रचनात्मक प्रक्रिया में सहायक होने के लिए इंसान से बेहतर भी हो सकती है? या कृत्रिम बुद्धि केवल आदिम शिल्प के लिए संगीत क्षेत्र में प्रसिद्ध हो जाएगी।

क्या android इलेक्ट्रिक पंक का सपना देखते हैं? कैसे मैंने एक तंत्रिका नेटवर्क को संगीत लिखना सिखाया

BachBot

मैजेंटा

More articles: