हमने तंत्रिका नेटवर्क v 2.0 के साथ संगीत कैसे बजाया

हाय, हैब्र।

यह पोस्ट इस बारे में है कि हम वास्तविक जीवन में तंत्रिका नेटवर्क कैसे लाए। यदि आप लागू रोबोटिक्स और इंजीनियरिंग पसंद करते हैं, या न्यूरॉन्स की तरह, या Arduin पर एक एलईडी ब्लिंक करते हैं, तो यह दिलचस्प होगा। हालांकि, यह एक पूरी तरह से कई अलग-अलग घटकों और प्रौद्योगिकियों को इकट्ठा करने और इसके बारे में एक विचार बनाने के बारे में एक कहानी है। कट के तहत विवरण।



डेढ़ साल पहले, हमने एक प्रोजेक्ट किया था जहां हम संगीत उत्पन्न करने के लिए आवर्तक तंत्रिका नेटवर्क का उपयोग करते थे। यह बताता है कि यह कैसा था। इस वर्ष, इस्टी कॉन्सर्ट (लक्ष्य संस्थान, देश में प्रदर्शन का सबसे बड़ा आयोजक) ने संगीत कार्यक्रम "प्रौद्योगिकी और संगीत" की एक श्रृंखला आयोजित की और हमें इस श्रृंखला के भीतर एक प्रदर्शन करने के लिए आमंत्रित किया गया। हम MODULSHTEIN समूह (अलेक्जेंडर ज़ेडलेव, मार्टन अल्ट्रोव और एलेक्सी सेमिनखिन) हैं , साथ ही साथ अलेक्जेंडर पोटज़नी, जो मैकेनिकल इंजीनियरिंग में लगे हुए थे, और मैं, अलेक्जेंडर टैवगेन, Playtech के सॉफ्टवेयर वास्तुकार। यदि पिछली परियोजना में सब कुछ एक मशीन के अंदर हुआ और मॉडलों के संकेतों को नमूनों पर प्रदर्शित किया गया था, तो इस परियोजना का विचार संकेतों को बाहर लाने और उन्हें एक जीवित साधन से जोड़ने के लिए है। और जब से हम ताल उत्पन्न करने के लिए मॉडल का उपयोग करते हैं, जिस पर मशीन खेलती है वह एक ड्रम है।

ड्रम जो हम उपयोग करेंगे, वह IDEM ऑडियो-विजुअल प्रस्तुति से छोड़े गए प्रॉप्स का हिस्सा है।

थोड़ा सा परिचय

संगीत, जैसे भाषा, विशेष रूप से बोली जाने वाली भाषा, एक अस्थायी संरचना है। यह लय, अंतराल, गतिकी है। यदि हम कुछ प्रतीकों की एक धारा के रूप में एक संगीत अनुक्रम का अनुकरण करते हैं, तो इस लौकिक संरचना को अनुकरण करने के लिए, आवर्तक तंत्रिका नेटवर्क उपयुक्त हैं। बार-बार आने वाले तंत्रिका नेटवर्क के पीछे सिद्धांतों का एक बड़ा परिचय है, लेडी कारपैथी का प्रसिद्ध लेख । लिनक्स स्रोत कोड पर प्रशिक्षित एकमात्र नेटवर्क क्या है? या डोनाल्ड ट्रम्प के भाषणों में प्रशिक्षित एक मॉडल।

मिडी प्रोटोकॉल पात्रों की एक धारा के रूप में संगीत का प्रतिनिधित्व करने के लिए आदर्श है। इस प्रकार, हमें मॉडल के लिए मिडी संकेतों को इनपुट में बदलने की जरूरत है, और मॉडल के आउटपुट को मिडी में वापस बदलना है। और फिर Google से मजेंटा परियोजना बचाव के लिए आती है, जिसे 2016 में घोषित किया गया था।

संक्षेप में, मजेंटा TensorFlow मॉडल के लिए एक MIDI इंटरफ़ेस प्रदान करता है। वर्चुअल मिडी पोर्ट कॉल-रिस्पॉन्स के लिए बनाए गए हैं, मोटे तौर पर बोल - इनपुट और आउटपुट। आप कई समानांतर पोर्ट चला सकते हैं। आप प्रत्येक जोड़ी बंदरगाहों के लिए एक TensorFlow मॉडल कनेक्ट कर सकते हैं। तथाकथित बंडल फ़ाइल TensorFlow से प्रशिक्षण चौकी और ग्राफ़ मेटाडेटा है। तो आप बातचीत की प्रक्रिया का संक्षेप में वर्णन कर सकते हैं।



मैंने यहां इसका विस्तार से वर्णन किया है ।

लेकिन अगर पिछली परियोजना में हमने मॉडलों से नमूनों में आने वाले मिडी संकेतों को प्रदर्शित किया, तो इस बार हमें उन्हें बाहर लाने और उन्हें मोटरों से जोड़ने की आवश्यकता है। यही है, सब कुछ किसी भी तरह से इस तरह का प्रतिनिधित्व किया जा सकता है: टेंसोरफ्लो-मैजेंटा-मिडी-सीरियल-माइक्रोकंट्रोलर-एक्टेटर्स। पहले तीन चरण पहले ही ले लिए गए हैं और सभी का ध्यान पिछले तीन लिंक पर गया है।

इससे पहले कि आप सोचें कि मशीन से सिग्नल कैसे कन्वर्ट करें और भेजें, आपको एक माइक्रोकंट्रोलर का चयन करना होगा जो सिग्नल प्राप्त करेगा और एक्चुएटर्स को नियंत्रित करेगा। सबसे आसान विकल्प Arduino- संगत प्लेटफ़ॉर्म लेना है, हालांकि कोई भी एटीएम-आधारित नियंत्रक उपयुक्त है।

Arduino USB के माध्यम से सीरियल पढ़ सकता है, और कार्य MIDI संकेतों को सीरियल पोर्ट प्रोटोकॉल में परिवर्तित करना था। एक ओपन प्रोजेक्ट हेयरलेस-मिडिसेरियल प्रोजेक्टगस.गिथब.आईओ / व्हर्लेस- मिडिसेरियल है , जो आपको इनपुट और आउटपुट दोनों के लिए मिडी को सीरियल डिवाइस में बदलने की अनुमति देता है। एक पूरे के रूप में मिडी की सुविधा यह है कि आप बहुत लचीले ढंग से विभिन्न उपकरणों को नियंत्रित और कनेक्ट कर सकते हैं।



खैर, फिर आपको उपकरण प्राप्त करने और विभिन्न डिजाइन विकल्पों की कोशिश शुरू करने की आवश्यकता है।

सिंक्रनाइज़ेशन के साथ संभावित देरी और समस्याओं का मूल्यांकन करने के लिए पहले प्रोटोटाइप को किया जाना था।

संकेत Arduino पर गया, जहां, नोटों की ऊंचाई के आधार पर, इसे विभिन्न आउटपुट पर प्रदर्शित किया गया था। परीक्षणों के लिए, मैंने क्लासिक MOSFET- आधारित सर्किट को एक साथ रखा। MOSFET मोटे तौर पर एक ट्रांजिस्टर है जो आपको उच्च धाराओं को नियंत्रित करने की अनुमति देता है; नियंत्रण संकेत देते हुए, आप ट्रांजिस्टर को खोल और बंद कर सकते हैं।



खैर, Arduino परियोजना किस तरह की चमकती एलईडी के बिना है। मैंने एलईडी को सेट किया ताकि समस्याओं के मामले में मुझे समझ में आ जाए कि वे कहां हैं, क्या अरडिनो से सिग्नल MOSFET इनपुट पर जाता है। सामान्य तौर पर, यह इस तरह दिखता था, बिल्लियां वास्तव में इसे पसंद करती थीं।



सामान्य तौर पर, कोई महत्वपूर्ण देरी और कनेक्शन की समस्याएं नहीं थीं, लेकिन एक अलग योजना की समस्याओं को स्पष्ट किया गया था। सोलेनोइड्स हमारे बड़े ड्रम से ध्वनि निकालने के लिए उपयुक्त नहीं हैं, उनमें प्रभाव के बल की कमी है। 5-वोल्ट सॉलोनॉइड्स खुद। यह कुछ अधिक शक्तिशाली देखने के लिए तय किया गया था। अगली पसंद मोटर्स है जो कार के ताले में उपयोग की जाती है। वे काफी शक्तिशाली हैं, अच्छे कर्षण के साथ, और सस्ते हैं।



लेकिन एक बिंदु है। कार के दरवाजे के लिए मोटर में न केवल आगे का स्ट्रोक है, बल्कि रिवर्स स्ट्रोक भी है। उन्हें हराने के लिए, आपको बहुत तेज़ फ़ॉरवर्ड-पॉज़-बैकवर्ड मूवमेंट करने की ज़रूरत है, लेकिन फ़ॉरवर्ड-बैकवर्ड के लिए, आप केवल एक MOSFET नहीं कर सकते, क्योंकि आपको मोटर ( H-Bridge ) के लिए वर्तमान दिशा बदलने की ज़रूरत है, ताकि यह दोनों दिशाओं में आगे बढ़े, इसलिए मैंने खरीदा Adafruit के साथ संगत Arduino के लिए मोटर ढाल। इस प्रकार, केवल एक चिप पर।



यहां पहले से ही एक मोटर पुल और एक कार के दरवाजे से मोटर के साथ संस्करण है।

और अब सामान्य यांत्रिकी के बारे में

Arduino पर चमकती एल ई डी एक बात है, लेकिन हमें एक ऐसी प्रणाली का निर्माण करना था जो संगीत कार्यक्रम के घंटे को बजाए। और यहां मुश्किलें हैं।

1. एक डिजाइन की कठोरता। मोटर्स पर्याप्त शक्तिशाली हैं, और माउंट करने के लिए जो माउंट हैं उन्हें एक घंटे के लिए कंपन का सामना करना होगा।
   
   
   
   
   हमने 3 या 4 डिज़ाइन विकल्पों की कोशिश की जब तक हमें एक स्वीकार्य एक नहीं मिला। छड़ी के साथ अड़चन कठोर नहीं होनी चाहिए, क्योंकि छड़ी में ड्रम से एक लोचदार प्रतिक्षेप होना चाहिए, और एक कठोर अड़चन ध्वनि को बहुत कम कर देगी। हमने बिल्डिंग स्क्रू का इस्तेमाल किया।
   
2. प्रभाव के यांत्रिकी। इसमें तेजी से आगे बढ़ने वाले आंदोलन, ठहराव और पिछड़े आंदोलन शामिल थे। लेकिन इस आंदोलन का अंतराल कितना बड़ा होना चाहिए? यह केवल अनुभवजन्य रूप से निर्धारित किया जा सकता है। इसके अलावा, अंतराल छड़ी के लगाव के स्थान पर निर्भर करता है, प्रदर्शित नोट्स। हमने परीक्षण और त्रुटि द्वारा अंतराल निर्धारित किया। यह स्पष्ट करने के लिए, धमाकों के लिए जिम्मेदार Arduino कोड का हिस्सा इस तरह दिखता था।
   
   
3. सभी मोटर अलग हैं। मोटर्स में स्वयं एक यांत्रिक ड्राइव है और इसलिए यह काफी ध्यान देने योग्य शोर देता है। लेकिन शोर अधिक मजबूत हो जाता है, अगर मोटर प्रभाव की धुरी से भटकती है, और इससे मोटर के टूटने का खतरा बढ़ जाता है। कंपन और प्रभाव बलों को देखते हुए, हमने फिर से संरचना की कठोरता पर आराम किया। जुड़नार में सुधार के संदर्भ में अलेक्जेंडर पॉटजनी ने यहां बहुत कुछ किया।
4. कंट्रोलर को स्पुरियस इंटरफेरेंस से रीसेट करें। चूंकि आसपास कई डिवाइस, केबल होंगे, और मोटर्स खुद शोर मचाएंगे।

चूंकि मोटरें संगीत से संचालित होती हैं, इसलिए इससे सेक्स टॉय बनाना संभव होगा। उन्होंने इंपीरियल मार्च जैसे अपने पसंदीदा संगीत का मंचन किया, और ...

विधानसभा और पूर्वाभ्यास

अंतिम सभा और रिहर्सल एस्टोनिया के रूसी रंगमंच के संगीत स्टूडियो में किए गए थे।





तंत्रिका नेटवर्क के साथ रिहर्सल के साथ समस्या यह भी है कि नेटवर्क स्वयं गैर-नियतात्मक है। बातचीत कॉल-प्रतिक्रिया मोड में होती है, और हर बार जब नेटवर्क उत्तर अलग-अलग होंगे - इसलिए, अंतिम संस्करण का पूर्वाभ्यास करना असंभव है।

संगीत की अवधारणा

प्रदर्शन के लिए, हमने एक वीडियो भी तैयार किया। प्रारंभ में, हमने मिडी के माध्यम से वीडियो स्ट्रीम को नियंत्रित करने के लिए भी सोचा था, जीएएन द्वारा उत्पन्न ओवरले और वीडियो को कम करने के लिए - लेकिन हमने दूसरी मशीन के लिए एक वातावरण बनाने और मॉडल से कनेक्ट करने का प्रबंधन नहीं किया। इसलिए, प्रदर्शन के प्रत्येक भाग के लिए वीडियो पूर्व-गाया गया था; GAN और ओवरले प्रबंधन का उपयोग किया गया। सब कुछ मुख्य midi_clock के साथ सिंक्रनाइज़ किया गया।


लाइव के लिए मैंने VDMX5 का उपयोग किया, जिसके माध्यम से वीडियो स्ट्रीम गया।



प्रदर्शन से कुछ समय पहले, उन्होंने टेलीविजन पर एक प्रस्तुति दी।


और एस्टोनिया कॉन्सर्ट हॉल में पोस्टर देखना बहुत असामान्य था (यह मॉस्को के लिए बोल्शोई थिएटर जैसा है)।

भाषण

प्रदर्शन खुद सल्तुतुतु तंटु लावा के मंच पर हुआ, यह वाबा लावा परिसर में टेलिस्कीवी की रचनात्मक तिमाही में एक छोटा सा हॉल (100 से अधिक लोगों का) है। बस स्थापित करने और सभी उपकरणों को स्थापित करने में 4 घंटे से अधिक समय लगा। पूरी तरह से पहले से ही लगभग रात में जुड़ा हुआ है।


और पहले से ही प्रकाश के बिना।


देर से प्रचार के बावजूद हॉल भरा हुआ था। मैं मंच के किनारे पर था और वीडियो स्ट्रीम को नियंत्रित किया। कॉन्सर्ट अपने आप में एक बड़ी सफलता थी - मॉडल ने कैसे काम किया, ध्वनि और वीडियो कैसे चले। दर्शकों ने कहा कि उन्हें 10-15 मिनट में कहीं यात्रा पर भेज दिया गया। :) सब कुछ बहुत वायुमंडलीय निकला।












www.Audiokinetica.com

Aleksandr Tavgen - आईटी समाधान, सॉफ्टवेयर विकास
हांग्जो Potužnoi - तकनीकी सहायता

Modulshtein:
www.Modulshtein.com

मौके पर

अलेक्जेंडर गिटार, एबलटन, एनालॉग सिंथेस
मार्टन अल्त्रोव - शहनाई, बास शहनाई
अलेक्सी सेन्निहिन उर्फ ​​डीजे बैंडिट - एफएक्स, नमूने, खरोंच