एआई, व्यावहारिक पाठ्यक्रम। गहरा संगीत उत्पन्न करना सीखता है

यह कृत्रिम बुद्धिमत्ता के क्षेत्र में डेवलपर्स के लिए प्रशिक्षण लेखों की श्रृंखला का अंतिम लेख है। यह संगीत पैदा करने के लिए एक गहरा सीखने का मॉडल बनाने के लिए चर्चा करता है, सही मॉडल और डेटा प्रीप्रोसेसिंग का चयन करता है, और BachBot की स्थापना, प्रशिक्षण, परीक्षण और संशोधन के लिए प्रक्रियाओं का वर्णन करता है।

म्यूजिक जनरेशन - एक टास्क के बारे में सोचना

कृत्रिम बुद्धिमत्ता (एआई) का उपयोग करके कई समस्याओं को हल करने में पहला कदम समस्या को एक मूल समस्या को कम करना है जिसे एआई के माध्यम से हल किया जा सकता है। ऐसी ही एक समस्या अनुक्रम भविष्यवाणी है, जिसका उपयोग प्राकृतिक भाषा अनुवाद और प्रसंस्करण अनुप्रयोगों में किया जाता है। संगीत उत्पन्न करने का हमारा काम एक अनुक्रम की भविष्यवाणी करने की समस्या को कम किया जा सकता है, और भविष्यवाणी संगीत नोट्स के अनुक्रम के लिए की जाएगी।

मॉडल चयन

कई अलग-अलग प्रकार के तंत्रिका नेटवर्क हैं जिन्हें मॉडल के रूप में माना जा सकता है: प्रत्यक्ष वितरण तंत्रिका नेटवर्क, आवर्तक तंत्रिका नेटवर्क और दीर्घकालिक स्मृति तंत्रिका नेटवर्क।

न्यूरॉन्स मूल सार तत्व हैं जो तंत्रिका नेटवर्क बनाने के लिए गठबंधन करते हैं। अनिवार्य रूप से, एक न्यूरॉन एक फ़ंक्शन है जो इनपुट पर डेटा प्राप्त करता है और परिणाम को आउटपुट करता है।


न्यूरॉन

न्यूरॉन्स के परत जो इनपुट पर एक ही डेटा प्राप्त करते हैं और कनेक्ट किए गए आउटपुट को सीधे प्रसार के साथ एक तंत्रिका नेटवर्क बनाने के लिए जोड़ा जा सकता है। इस तरह के तंत्रिका नेटवर्क कई परतों (तथाकथित गहरी शिक्षा) के माध्यम से डेटा पारित करते समय गैर-सक्रियण कार्यों की संरचना के कारण उच्च परिणाम प्रदर्शित करते हैं।


प्रत्यक्ष वितरण तंत्रिका नेटवर्क

एक सीधा वितरण तंत्रिका नेटवर्क अनुप्रयोगों की एक विस्तृत श्रृंखला में अच्छे परिणाम दिखाता है। हालांकि, इस तरह के एक तंत्रिका नेटवर्क में एक दोष है जो इसे संगीत रचना (अनुक्रम भविष्यवाणी) से संबंधित कार्य में उपयोग करने की अनुमति नहीं देता है: इसमें इनपुट डेटा का एक निश्चित आयाम है, और संगीत रचनाओं की अलग-अलग लंबाई हो सकती है। इसके अलावा, प्रत्यक्ष वितरण तंत्रिका नेटवर्क पिछले समय के चरणों से इनपुट को ध्यान में नहीं रखते हैं, जो अनुक्रम भविष्यवाणी समस्या को हल करने के लिए उन्हें बहुत उपयोगी नहीं बनाता है! आवर्तक तंत्रिका नेटवर्क नामक एक मॉडल इस कार्य के लिए बेहतर अनुकूल है।

पुनरावर्ती तंत्रिका नेटवर्क छिपी हुई नोड्स के बीच लिंक पेश करके इन दोनों समस्याओं को हल करते हैं: इस मामले में, अगले समय कदम पर, नोड्स पिछले समय के कदम के बारे में जानकारी प्राप्त कर सकते हैं।


एक आवर्तक तंत्रिका नेटवर्क का विस्तृत प्रतिनिधित्व

जैसा कि आप आंकड़ा में देख सकते हैं, प्रत्येक न्यूरॉन अब पिछली तंत्रिका परत और पिछली बार दोनों से इनपुट प्राप्त करता है।

बड़े इनपुट अनुक्रमों से निपटने वाले पुनरावर्ती तंत्रिका नेटवर्क तथाकथित गायब होने वाली ढाल समस्या का सामना करते हैं: इसका मतलब है कि पहले के समय के कदमों से प्रभाव जल्दी गायब हो जाता है। यह समस्या संगीत रचना के कार्य की विशेषता है, क्योंकि संगीत के कामों में महत्वपूर्ण दीर्घकालिक निर्भरताएं हैं जिन्हें ध्यान में रखा जाना चाहिए।

लुप्त हो रही ढाल की समस्या को हल करने के लिए, आवर्तक नेटवर्क का एक संशोधन, जिसे दीर्घकालिक अल्पकालिक मेमोरी (या LSTM तंत्रिका नेटवर्क) के साथ एक तंत्रिका नेटवर्क कहा जाता है , का उपयोग किया जा सकता है । यह समस्या मेमोरी कोशिकाओं को शुरू करने से हल हो जाती है, जिन्हें तीन प्रकार के "गेट्स" द्वारा सावधानीपूर्वक मॉनिटर किया जाता है। अधिक जानकारी के लिए निम्न लिंक पर क्लिक करें: LSTM तंत्रिका नेटवर्क के बारे में सामान्य जानकारी ।

इस प्रकार, BachBot LSTM तंत्रिका नेटवर्क पर आधारित एक मॉडल का उपयोग करता है।

पूर्व उपचार

संगीत एक बहुत ही जटिल कला है और इसमें विभिन्न आयाम शामिल हैं: पिच, लय, गति, गतिशील रंग, अभिव्यक्ति और बहुत कुछ। इस परियोजना के उद्देश्यों के लिए संगीत को सरल बनाने के लिए , केवल पिच और ध्वनियों की अवधि पर विचार किया जाता है । इसके अलावा, सभी चोरों को सी मेजर या ए माइनर की कुंजी में ट्रांसपोंड किया गया था, और नोट अवधि को सोलहवें नोट के निकटतम मल्टीपल में समय (गोल) में परिमाणित किया गया था । ये क्रियाएं रचनाओं की जटिलता को कम करने और नेटवर्क के प्रदर्शन को बढ़ाने के लिए की गईं, जबकि संगीत की मूल सामग्री अपरिवर्तित रही। संगीत की लाइब्रेरी का उपयोग करते हुए नोटों की टोनलिटी और अवधि को सामान्य करने के लिए ऑपरेशन किए गए थे।

def standardize_key(score): """Converts into the key of C major or A minor. Adapted from https://gist.github.com/aldous-rey/68c6c43450517aa47474 """ # conversion tables: eg Ab -> C is up 4 semitones, D -> A is down 5 semitones majors = dict([("A-", 4),("A", 3),("B-", 2),("B", 1),("C", 0),("C#",-1), ("D-", -1),("D", -2),("E-", -3),("E", -4),("F", -5),("F#",6), ("G-", 6), ("G", 5)]) minors = dict([("A-", 1),("A", 0),("B-", -1),("B", -2),("C", -3),("C#",-4), ("D-", -4),("D", -5),("E-", 6),("E", 5),("F", 4),("F#",3), ("G-",3),("G", 2)]) # transpose score key = score.analyze('key') if key.mode == "major": halfSteps = majors[key.tonic.name] elif key.mode == "minor": halfSteps = minors[key.tonic.name] tScore = score.transpose(halfSteps) # transpose key signature for ks in tScore.flat.getKeySignatures(): ks.transpose(halfSteps, inPlace=True) return tScore 

एकत्रित कार्यों में मुख्य पात्रों को मानकीकृत करने के लिए उपयोग किया जाने वाला कोड, आउटपुट में C प्रमुख या A माइनर की कुंजी का उपयोग किया जाता है

सोलहवें नोट के सबसे पास के कई समय का परिमाण म्यूजिक 21 लाइब्रेरी के Stream.quantize () फ़ंक्शन का उपयोग करके किया गया था। निम्नलिखित प्रारंभिक प्रसंस्करण से पहले और बाद में सेट किए गए डेटा से संबंधित आंकड़ों की तुलना है:


प्रीप्रोसेसिंग (दाएं) से पहले (बाएं) और बाद में नोटों के प्रत्येक वर्ग का उपयोग करना। एक नोट वर्ग अपने सप्तक की परवाह किए बिना एक नोट है।


प्रीप्रोसेसिंग (दाएं) से पहले (बाएं) और बाद में नोटों का स्थान

जैसा कि आप ऊपर दिए गए आंकड़े में देख सकते हैं, कोर की मूल कुंजी का ट्रांसपोज़ेशन सी प्रमुख या सी माइनर (ए माइनर) की कुंजी के लिए होता है, जो संग्रहित कार्यों में उपयोग किए गए नोटों के वर्ग को काफी प्रभावित करता है। विशेष रूप से, प्रमुख कुंजियों (सी मेजर) और ए माइनर (ए माइनर) (सी, डी, ई, एफ, जी, ए, बी) में कुंजियों में नोटों की घटनाओं की संख्या में वृद्धि हुई है। आप नोट ए # और जी # के नोटों के लिए छोटी चोटियों का भी अवलोकन कर सकते हैं, जो कि मेलोडिक ए माइनर (ए, बी, सी, डी, ई, एफ # और जी #) के आरोही क्रम में मौजूद है। दूसरी ओर, समय की मात्रा का बहुत कम प्रभाव पड़ा। इसे परिमाणीकरण के उच्च संकल्प (कई महत्वपूर्ण अंकों के लिए गोलाई के समान) द्वारा समझाया जा सकता है।

कोडिंग

डेटा को पूर्व-संसाधित किए जाने के बाद, कोरल्स को एक प्रारूप में एनकोड करना आवश्यक है, जिसे एक आवर्तक तंत्रिका नेटवर्क का उपयोग करके आसानी से संसाधित किया जा सकता है। आवश्यक प्रारूप टोकन का एक क्रम है । BachBot प्रोजेक्ट के लिए, कोडिंग को नोट्स के स्तर पर चुना गया था (प्रत्येक टोकन एक नोट को दर्शाता है) chords के स्तर के बजाय (प्रत्येक टोकन एक कॉर्ड का प्रतिनिधित्व करता है)। इस समाधान ने शब्दकोश के आकार को ^{4 4} संभावित chords से 128 संभव नोट्स तक कम कर दिया, जिससे कार्य क्षमता में वृद्धि करने की अनुमति मिली।

संगीत रचनाओं के लिए एक मूल कोडिंग योजना बच्चकोट परियोजना के लिए बनाई गई थी। कोरले को सोलहवें नोटों के अनुरूप समय चरणों में विभाजित किया गया है। इन चरणों को फ्रेम कहा जाता है। प्रत्येक फ़्रेम में एक डिजिटल म्यूजिकल इंस्ट्रूमेंट इंटरफेस (MIDI) के प्रारूप में नोट के पिच के मूल्य का प्रतिनिधित्व करने वाले टुपल्स का अनुक्रम होता है और इस नोट को उसी ऊंचाई के पिछले नोट (नोट, बाइंडिंग का संकेत) से बांधने का संकेत होता है। फ्रेम के भीतर के नोट ऊँचाई के क्रम में क्रमांकित होते हैं (सोप्रानो → ऊँचाई → टेनोर → बास)। प्रत्येक फ्रेम में एक फ्रेम भी हो सकता है जो वाक्यांश के अंत को चिह्नित करता है; फरमाटा को नोट के ऊपर एक डॉट (।) प्रतीक द्वारा दर्शाया गया है। START और END प्रतीक प्रत्येक कोरेले की शुरुआत और अंत में जोड़े जाते हैं। ये प्रतीक मॉडल के आरंभ का कारण बनते हैं और उपयोगकर्ता को यह निर्धारित करने की अनुमति देते हैं कि रचना कब समाप्त होगी।

START
(59, True)
(56, True)
(52, True)
(47, True)
|||
(59, True)
(56, True)
(52, True)
(47, True)
|||
(.)
(57, False)
(52, False)
(48, False)
(45, False)
|||
(.)
(57, True)
(52, True)
(48, True)
(45, True)
|||
END
दो जीवाओं को कूटने का एक उदाहरण। प्रत्येक कॉर्ड एक माप के आठवें बीट तक रहता है, दूसरा कॉर्ड एक खेत के साथ होता है। अनुक्रम "|||" फ्रेम के अंत को चिह्नित करता है

 def encode_score(score, keep_fermatas=True, parts_to_mask=[]): """ Encodes a music21 score into a List of chords, where each chord is represented with a (Fermata :: Bool, List[(Note :: Integer, Tie :: Bool)]). If `keep_fermatas` is True, all `has_fermata`s will be False. All tokens from parts in `parts_to_mask` will have output tokens `BLANK_MASK_TXT`. Time is discretized such that each crotchet occupies `FRAMES_PER_CROTCHET` frames. """ encoded_score = [] for chord in (score .quantize((FRAMES_PER_CROTCHET,)) .chordify(addPartIdAsGroup=bool(parts_to_mask)) .flat .notesAndRests): # aggregate parts, remove markup # expand chord/rest st constant timestep between frames if chord.isRest: encoded_score.extend((int(chord.quarterLength * FRAMES_PER_CROTCHET)) * [[]]) else: has_fermata = (keep_fermatas) and any(map(lambda e: e.isClassOrSubclass(('Fermata',)), chord.expressions)) encoded_chord = [] # TODO: sorts Soprano, Bass, Alto, Tenor without breaking ties # c = chord.sortAscending() # sorted_notes = [c[-1], c[0]] + c[1:-1] # for note in sorted_notes: for note in chord: if parts_to_mask and note.pitch.groups[0] in parts_to_mask: encoded_chord.append(BLANK_MASK_TXT) else: has_tie = note.tie is not None and note.tie.type != 'start' encoded_chord.append((note.pitch.midi, has_tie)) encoded_score.append((has_fermata, encoded_chord)) # repeat pitches to expand chord into multiple frames # all repeated frames when expanding a chord should be tied encoded_score.extend((int(chord.quarterLength * FRAMES_PER_CROTCHET) - 1) * [ (has_fermata, map(lambda note: BLANK_MASK_TXT if note == BLANK_MASK_TXT else (note[0], True), encoded_chord)) ]) return encoded_score 

कोड को एक विशेष एन्कोडिंग योजना का उपयोग करके संगीत 21 टनिटी को एन्कोड करने के लिए उपयोग किया जाता है

मॉडल कार्य

पिछले भाग में, यह बताते हुए स्पष्टीकरण दिया गया था कि किसी अनुक्रम की भविष्यवाणी करने के कार्य के लिए स्वचालित रचना के कार्य को कम किया जा सकता है। विशेष रूप से, एक मॉडल पिछले नोटों के आधार पर सबसे अधिक संभावित अगले नोट की भविष्यवाणी कर सकता है। इस प्रकार की समस्या को हल करने के लिए, दीर्घकालिक अल्पकालिक मेमोरी (LSTM) के साथ एक तंत्रिका नेटवर्क सबसे उपयुक्त है। औपचारिक रूप से, मॉडल को P (x _{t + 1} | x _t , h _t-1 ) की भविष्यवाणी करनी चाहिए, वर्तमान टोकन (x _t ) और पिछले छिपे हुए राज्य (h _t-1 ) के आधार पर अगले संभावित नोट्स (x _{t + 1} ) के लिए संभाव्यता वितरण। । दिलचस्प बात यह है कि एक ही ऑपरेशन आवर्तक तंत्रिका नेटवर्क पर आधारित भाषा मॉडल द्वारा किया जाता है।

कंपोजीशन मोड में, मॉडल को स्टार्ट टोकन के साथ आरंभ किया जाता है, जिसके बाद वह अनुसरण करने के लिए अगले सबसे संभावित टोकन का चयन करता है। उसके बाद, मॉडल पिछले नोट और पिछले छिपे हुए राज्य का उपयोग करके अगले सबसे संभावित टोकन का चयन करना जारी रखता है, जब तक कि एक टोकन टोकन उत्पन्न नहीं होता है। सिस्टम में तापमान तत्व होते हैं जो बाचबोट को बार-बार एक ही टुकड़े को बनाने से रोकने के लिए कुछ हद तक यादृच्छिकता जोड़ते हैं।

हानि समारोह

भविष्यवाणी के लिए एक मॉडल को प्रशिक्षित करते समय, आमतौर पर कुछ फ़ंक्शन होते हैं जिन्हें कम से कम करने की आवश्यकता होती है (हानि फ़ंक्शन कहा जाता है)। यह फ़ंक्शन मॉडल भविष्यवाणी और जमीनी सच्चाई संपत्ति के बीच अंतर का वर्णन करता है। BachBot अनुमानित वितरण (x _{t + 1} ) और उद्देश्य फ़ंक्शन के वास्तविक वितरण के बीच क्रॉस-एन्ट्रापी के नुकसान को कम करता है। एक नुकसान फ़ंक्शन के रूप में क्रॉस एन्ट्रॉपी का उपयोग करना कार्यों की एक विस्तृत श्रृंखला के लिए एक अच्छा प्रारंभिक बिंदु है, लेकिन कुछ मामलों में आप अपने स्वयं के नुकसान फ़ंक्शन का उपयोग कर सकते हैं। एक अन्य स्वीकार्य दृष्टिकोण विभिन्न हानि कार्यों का उपयोग करने और एक मॉडल लागू करने की कोशिश करना है जो सत्यापन के दौरान वास्तविक नुकसान को कम करता है।

प्रशिक्षण / परीक्षण

एक पुनरावर्ती तंत्रिका नेटवर्क के प्रशिक्षण में, BachBot ने मॉडल भविष्यवाणी लागू करने के बजाय मूल्य x _{t + 1 के} साथ टोकन सुधार का उपयोग किया। अनिवार्य सीखने के रूप में जानी जाने वाली इस प्रक्रिया का उपयोग अभिसरण सुनिश्चित करने के लिए किया जाता है, क्योंकि प्रशिक्षण की शुरुआत में मॉडल की भविष्यवाणी स्वाभाविक रूप से खराब परिणाम देगी। इसके विपरीत, सत्यापन और संरचना के दौरान, मॉडल x _{t + 1 की} भविष्यवाणी को अगली भविष्यवाणी के इनपुट के रूप में पुन: उपयोग किया जाना चाहिए।

अन्य विचार

इस मॉडल में दक्षता बढ़ाने के लिए, निम्नलिखित व्यावहारिक तरीकों का उपयोग किया गया था जो कि LSTM तंत्रिका नेटवर्क के लिए सामान्य हैं: सामान्यीकृत ग्रेडिएंट ट्रंकेशन, एलिमिनेशन मेथड, पैकेट नॉर्मलाइजेशन और ट्रंकेटेड टाइम एरर बैक प्रोपगेशन (BPTT) विधि।

सामान्यीकृत ग्रेडिएंट ट्रंकेशन विधि ढाल मूल्य के अनियंत्रित विकास (लुप्त ग्रेडिएंट समस्या का व्युत्क्रम, एलएसटीएम मेमोरी कोशिकाओं की वास्तुकला का उपयोग करके हल किया गया था) की समस्या को समाप्त करती है। इस तकनीक का उपयोग करके, एक निश्चित सीमा से अधिक होने वाले ढाल मानों को छोटा या छोटा कर दिया जाता है।

बहिष्करण विधि एक ऐसी तकनीक है जिसमें नेटवर्क प्रशिक्षण के दौरान यादृच्छिक पर चुने गए कुछ न्यूरॉन्स को डिस्कनेक्ट (बाहर रखा गया) किया जाता है। यह ओवरफिटिंग से बचता है और सामान्यीकरण की गुणवत्ता में सुधार करता है। ओवरफिटिंग की समस्या तब उत्पन्न होती है जब मॉडल प्रशिक्षण डेटा सेट के लिए और इस सेट के बाहर नमूनों के लिए कुछ हद तक लागू हो जाता है। बहिष्करण विधि अक्सर प्रशिक्षण के दौरान नुकसान को बढ़ाती है, लेकिन सत्यापन चरण में इसे सुधारती है (नीचे इस पर अधिक)।

1000 तत्वों के अनुक्रम के लिए एक आवर्ती तंत्रिका नेटवर्क में ढाल की गणना 1000 परतों के प्रत्यक्ष वितरण तंत्रिका नेटवर्क में आगे और पिछड़े मार्ग की लागत के बराबर है। प्रशिक्षण के दौरान अद्यतन मापदंडों की लागत को कम करने के लिए समय के साथ छंटनी वाली त्रुटि वापस प्रसार (BPTT) विधि का उपयोग किया जाता है। इसका मतलब यह है कि त्रुटियों को केवल एक निश्चित संख्या में समय के दौरान प्रचारित किया जाता है, जो वर्तमान क्षण से वापस गिना जाता है। कृपया ध्यान दें कि बीपीटीटी पद्धति के साथ दीर्घकालिक सीखने की निर्भरता अभी भी संभव है, क्योंकि अव्यवस्थित राज्य पहले ही कई पिछले समय के चरणों में प्रकट हो चुके हैं।

मापदंडों

निम्नलिखित लंबी दूरी की स्मृति के साथ आवर्तक तंत्रिका नेटवर्क / तंत्रिका नेटवर्क के मॉडल के लिए प्रासंगिक मापदंडों की एक सूची है:

• परतों की संख्या । इस पैरामीटर को बढ़ाने से मॉडल की दक्षता बढ़ सकती है, लेकिन इसे प्रशिक्षित करने में अधिक समय लगेगा। इसके अलावा, बहुत सी परतें ओवरफिटिंग का कारण बन सकती हैं।
• अव्यक्त अवस्था का आयाम । इस पैरामीटर को बढ़ाने से मॉडल की जटिलता बढ़ सकती है, हालांकि, इससे ओवरफिटिंग हो सकती है।
• वेक्टर तुलना का आयाम
• समय के साथ त्रुटि के पीछे प्रसार को कम करने से पहले फ्रेम की अनुक्रम लंबाई / संख्या।
• न्यूरॉन्स के बहिष्करण की संभावना । वह संभावना जिसके साथ प्रत्येक अद्यतन चक्र के दौरान एक न्यूरॉन को नेटवर्क से बाहर रखा जाएगा।

इस लेख में बाद में मापदंडों के इष्टतम सेट को चुनने के लिए कार्यप्रणाली पर चर्चा की जाएगी।

कार्यान्वयन, प्रशिक्षण और परीक्षण

मंच का चयन

वर्तमान में, कई प्लेटफ़ॉर्म हैं जो आपको विभिन्न प्रोग्रामिंग भाषाओं में मशीन लर्निंग मॉडल को लागू करने की अनुमति देते हैं (यहां तक ​​कि जावास्क्रिप्ट भी!)। लोकप्रिय प्लेटफार्मों में स्किकिट-लर्न , टेन्सरफ्लो और मशाल शामिल हैं ।

मशाल पुस्तकालय को बाखबोत परियोजना के लिए मंच के रूप में चुना गया था। सबसे पहले, TensorFlow पुस्तकालय की कोशिश की गई थी, लेकिन उस समय इसमें व्यापक आवर्तक तंत्रिका नेटवर्क का उपयोग किया गया था, जिसके कारण GPU की RAM ओवरफ्लो हो गई थी। मशाल एक वैज्ञानिक कंप्यूटिंग प्लेटफॉर्म है जो फास्ट प्रोग्रामिंग लैंग्वेज LuaJIT * द्वारा संचालित है। मशाल मंच में तंत्रिका नेटवर्क और अनुकूलन के साथ काम करने के लिए उत्कृष्ट पुस्तकालय हैं।

मॉडल कार्यान्वयन और प्रशिक्षण

कार्यान्वयन, स्पष्ट रूप से, उस भाषा और मंच के आधार पर अलग-अलग होगा जिस पर आप चुनते हैं। मशाल का उपयोग करके BachBot लंबे, अल्पकालिक मेमोरी के साथ तंत्रिका नेटवर्क को कैसे लागू करता है यह जानने के लिए, BachBot मापदंडों को प्रशिक्षित करने और सेट करने के लिए उपयोग की जाने वाली स्क्रिप्ट देखें। ये स्क्रिप्ट Feynman Lyang GitHub वेबसाइट पर उपलब्ध हैं ।

रिपॉजिटरी को नेविगेट करने के लिए एक अच्छा प्रारंभिक बिंदु 1-train.zsh स्क्रिप्ट है । इसके साथ, आप bachbot.py फ़ाइल का पथ पा सकते हैं।

अधिक सटीक रूप से, मॉडल पैरामीटर सेट करने के लिए मुख्य स्क्रिप्ट LSTM.lua फ़ाइल है। मॉडल को प्रशिक्षित करने के लिए स्क्रिप्ट ट्रेन.लुआ फ़ाइल है।

हाइपरपरमीटर ऑप्टिमाइज़ेशन

हाइपरपरमेटर्स के इष्टतम मूल्यों की खोज करने के लिए, निम्न पैरामीटर ग्रिड का उपयोग करके ग्रिड खोज विधि का उपयोग किया गया था।


ग्रिड खोज में BachBot द्वारा उपयोग किए जाने वाले मापदंडों की ग्रिड

एक ग्रिड खोज मापदंडों के सभी संभावित संयोजनों की पूरी खोज है। हाइपरपरमेटर्स के अनुकूलन के लिए अन्य सुझाए गए तरीके यादृच्छिक खोज और बायेसियन अनुकूलन हैं।

एक ग्रिड खोज के परिणामस्वरूप हाइपरपरमेटर्स का इष्टतम सेट निम्नानुसार है: परतों की संख्या = 3, छिपे हुए राज्य का आयाम = 256, वेक्टर तुलनाओं का आयाम = 32, अनुक्रम लंबाई = 128, न्यूरॉन्स के उन्मूलन की संभावना - 0.3।

यह मॉडल प्रशिक्षण के दौरान 0.324 के क्रॉस-एन्ट्रापी नुकसान और सत्यापन चरण में 0.477 पर पहुंच गया। लर्निंग कर्व ग्राफ दर्शाता है कि लर्निंग प्रोसेस 30 पुनरावृत्तियों ()28.5 मिनट जब एक जीपीयू का उपयोग करते हुए) के बाद परिवर्तित होता है।

प्रशिक्षण के दौरान और सत्यापन चरण के दौरान नुकसान के ग्राफ भी प्रत्येक हाइपरपरमीटर के प्रभाव को स्पष्ट कर सकते हैं। हमारे लिए विशेष रूप से रुचि न्यूरॉन्स को नष्ट करने की संभावना है:


विभिन्न बहिष्करण विधि सेटिंग्स के लिए सीखना घटता

यह आंकड़ा में देखा जा सकता है कि उन्मूलन विधि वास्तव में ओवरफिटिंग की घटना से बचाती है। यद्यपि 0.0 के बहिष्करण की संभावना के साथ, प्रशिक्षण के दौरान नुकसान न्यूनतम है, सत्यापन स्तर पर नुकसान अधिकतम पर है। संभाव्यता के बड़े मूल्यों से प्रशिक्षण के दौरान नुकसान में वृद्धि होती है और सत्यापन चरण में नुकसान में कमी होती है। BachBot के साथ काम करते समय सत्यापन चरण के दौरान नुकसान का न्यूनतम मूल्य 0.3 की अपवाद संभावना के साथ तय किया गया था।

वैकल्पिक मूल्यांकन विधियाँ (वैकल्पिक)

कुछ मॉडलों के लिए - विशेष रूप से रचनात्मक अनुप्रयोगों जैसे कि संगीत की रचना के लिए - नुकसान सिस्टम की सफलता का एक उपयुक्त उपाय नहीं हो सकता है। इसके बजाय, व्यक्तिपरक मानवीय धारणा सबसे अच्छी कसौटी हो सकती है।

बाखबोत परियोजना का उद्देश्य स्वचालित रूप से संगीत रचना करना है जो बाख की अपनी रचनाओं से अप्रभेद्य है। परिणामों की सफलता का आकलन करने के लिए, इंटरनेट पर उपयोगकर्ताओं का एक सर्वेक्षण आयोजित किया गया था। सर्वेक्षण को एक प्रतियोगिता का रूप दिया गया था जिसमें उपयोगकर्ताओं को यह निर्धारित करने के लिए कहा गया था कि कौन सा कार्य BachBot परियोजना से संबंधित है, और कौन सा Bach से संबंधित है।

सर्वेक्षण के परिणामों से पता चला है कि सर्वेक्षण के प्रतिभागियों (प्रशिक्षण के विभिन्न स्तरों वाले 759 लोग) केवल 59 प्रतिशत मामलों में दो नमूनों के बीच सटीक रूप से भेद करने में सक्षम थे। यह यादृच्छिक अनुमान लगाने के परिणाम से केवल 9 प्रतिशत अधिक है! अपने आप को BachBot सर्वेक्षण का प्रयास करें!

सामंजस्य के लिए मॉडल को अपनाना

अब BachBot P (x _{t + 1} | x _t , h _t-1 ) की गणना कर सकता है, वर्तमान नोट और पिछले छिपे हुए राज्य के आधार पर अगले संभावित नोटों के लिए संभाव्यता वितरण। इस अनुक्रमिक भविष्यवाणी मॉडल को बाद में मेलोडी के अनुरूप करने के लिए अनुकूलित किया जा सकता है। इस तरह के एक अनुकूलित मॉडल को माधुर्य के अनुरूप बनाने के लिए आवश्यक है, भावनाओं की मदद से संशोधित, एक स्लाइड प्रदर्शन के साथ एक संगीत परियोजना के हिस्से के रूप में।

मॉडल के सामंजस्य के साथ काम करते समय, एक पूर्वनिर्धारित राग प्रदान किया जाता है (आमतौर पर यह एक सोप्रानो हिस्सा होता है), और उसके बाद मॉडल को बाकी टुकड़ों के लिए संगीत रचना करनी चाहिए। इस कार्य को पूरा करने के लिए, एक लालची "सर्वश्रेष्ठ-प्रथम" खोज का उपयोग इस प्रतिबंध के साथ किया जाता है कि माधुर्य नोट तय किए जाते हैं। लालची एल्गोरिदम में ऐसे निर्णय शामिल होते हैं जो स्थानीय दृष्टिकोण से इष्टतम होते हैं। तो, नीचे एक सरल रणनीति है जिसका उपयोग सामंजस्य के लिए किया जाता है:

मान लें कि प्रस्तावित तालमेल में x _t टोकन हैं। समय कदम टी पर, यदि नोट मेलोडी से मेल खाता है, तो x _टी दिए गए नोट के बराबर है। अन्यथा, x _t मॉडल की भविष्यवाणियों के अनुसार सबसे संभावित अगले नोट के बराबर है। इस मॉडल अनुकूलन के लिए कोड Feynman Lyang GitHub वेबसाइट पर पाया जा सकता है: HarmModel.lua , harmonize.lua ।

उपरोक्त रणनीति का उपयोग करते हुए निम्नलिखित लोरी ट्विंकल, ट्विंकल, बॉटबॉट के साथ लिटिल स्टार को सामंजस्य बनाने का एक उदाहरण है।


ट्विंकल, ट्विंकल की लोरी का हार्मोनाइजेशन, बछबोट के साथ लिटिल स्टार (सोप्रानो भाग में)। वियाला, तेनोर और बास के हिस्से भी बाचबोट से भरे हुए थे

इस उदाहरण में, लोरीबाई ट्विंकल, ट्विंकल, लिटिल स्टार की धुन को सोप्रानो भाग में दिया गया है। उसके बाद, विओला, टेनोर और बास के हिस्सों को एक सामंजस्य की रणनीति का उपयोग करते हुए बाचबोट से भरा गया था। और यहाँ है कि यह कैसे लगता है ।

इस तथ्य के बावजूद कि इस कार्य को करने में BachBot ने अच्छा प्रदर्शन किया है, इस मॉडल से जुड़ी कुछ सीमाएँ हैं। अधिक सटीक रूप से, एल्गोरिथ्म मेलोडी में आगे नहीं दिखता है और बाद के नोटों को उत्पन्न करने के लिए केवल मेलोडी के वर्तमान नोट और पिछले संदर्भ का उपयोग करता है। जब लोगों द्वारा एक मेलोडी का सामंजस्य स्थापित किया जाता है, तो वे पूरे मेलोडी को कवर कर सकते हैं, जो उपयुक्त हार्मोनाइजेशन की व्युत्पत्ति को सरल करता है। तथ्य यह है कि यह मॉडल ऐसा करने में सक्षम नहीं है, बाद की जानकारी के उपयोग पर प्रतिबंध के कारण आश्चर्य हो सकता है जो त्रुटियों का कारण बनता है। इस समस्या को हल करने के लिए, तथाकथित बीम खोज का उपयोग किया जा सकता है।

बीम खोज का उपयोग करते समय, विभिन्न गति लाइनों की जांच की जाती है। उदाहरण के लिए, केवल एक का उपयोग करने के बजाय, सबसे संभावित नोट, जो वर्तमान में किया जा रहा है, चार या पांच सबसे संभावित नोटों पर विचार किया जा सकता है, जिसके बाद एल्गोरिथ्म इन नोटों में से प्रत्येक के साथ अपना काम जारी रखता है। विभिन्न विकल्पों की जांच करने से मॉडल को त्रुटियों से उबरने में मदद मिल सकती है। बीम खोज आमतौर पर वाक्यों को बनाने के लिए प्राकृतिक भाषा प्रसंस्करण अनुप्रयोगों में उपयोग किया जाता है।

भावनाओं की मदद से संशोधित मेलोडीज़ को अब उन्हें पूरा करने के लिए इस तरह के सामंजस्य मॉडल के माध्यम से पारित किया जा सकता है।