इस लेख में मैं समझाता हूँ कि ASP.NET कोर वेब साइट कैसे बनाई जाती है, जो एक बटन के एक क्लिक के साथ अद्वितीय गीत के बोल उत्पन्न करने के लिए AI का उपयोग करती है, और उपयोगकर्ताओं को सर्वश्रेष्ठ गीतों के लिए वोट देती है।

तंत्रिका नेटवर्क

लगभग 2.5 महीने पहले ओपनएआई ने एक ब्लॉग पोस्ट प्रकाशित किया था, जहां उन्होंने लगभग असंभव प्रदर्शन किया था: एक गहन शिक्षण मॉडल, जो मनुष्यों द्वारा लिखे गए लेखों से अप्रभेद्य लिख सकता है। यह जो पाठ उत्पन्न हुआ वह इतना प्रभावशाली था, कि मुझे यह सुनिश्चित करने के लिए कैलेंडर को जांचना था कि यह अप्रैल फूल का मज़ाक नहीं है (आप जिस फरवरी में थे, और सिएटल बर्फ में कवर किया गया था)।

उन्होंने आज तक (एक बहुत ही विवादास्पद निर्णय) के रूप में निर्मित 1 अरब से अधिक मापदंडों के साथ सबसे बड़े तंत्रिका नेटवर्क को जारी नहीं किया, लेकिन उन्होंने एमआईटी लाइसेंस के तहत गिटहब पर एक छोटे 117M पैरामीटर संस्करण को खोल दिया। मॉडल का एक बहुत ही अदम्य नाम है: GPT-2 ।

इसलिए, लगभग एक महीने पहले, जब मैं यह सोचने की कोशिश कर रहा था कि मैं TensorFlow के साथ क्या कूल प्रोजेक्ट बना सकता हूं, तो वह नेटवर्क शुरुआती बिंदु बन गया। यदि यह पहले से ही अंग्रेजी पाठ उत्पन्न कर सकता है, तो गीत के बोल उत्पन्न करने के लिए इसे ठीक से ट्यून करने के लिए बहुत कठिन नहीं होना चाहिए, यदि पर्याप्त बड़े डेटासेट हैं।

GPT-2 कैसे काम करता है?

गहन शिक्षण अनुसंधान में कई महत्वपूर्ण उपलब्धियाँ हैं, जिसने GPT-2 को संभव बनाया है:

स्व-पर्यवेक्षित शिक्षा

इस लेख का पहला संस्करण लिखने के कई दिनों बाद ही इस तकनीक को अपना नाम यान लेकुं ने अंतिम रूप दे दिया। यह एक बहुत शक्तिशाली तकनीक है, जिसे मूल रूप से वास्तविक दुनिया के किसी भी डेटा पर लागू किया जा सकता है। GPT-2 OpenAI को प्रशिक्षित करने के लिए विभिन्न स्रोतों से दसियों गीगाबाइट लेख एकत्र किए, जो रेडिट पर अपवोट किए गए थे।

परम्परागत रूप से, इन सभी लेखों से गुजरने के लिए मनुष्य के पास होना चाहिए, और, उदाहरण के लिए, उन्हें "सकारात्मक" या "नकारात्मक" के रूप में चिह्नित करें। फिर वे इन लेखों को उसी तरह वर्गीकृत करने के लिए पर्यवेक्षित तरीके से एक तंत्रिका नेटवर्क सिखाएंगे, जिस तरह से एक मानव ने किया था।

यहां नया विचार यह है कि एक डीप लर्निंग मॉडल बनाने के लिए, जिसमें आपके डेटा की उच्च-स्तरीय समझ हो, आप डेटा को केवल भ्रष्ट करते हैं, और मूल को पुनर्स्थापित करने के लिए मॉडल को कार्य करते हैं। यह मॉडल को डेटा के टुकड़ों और उनके आस-पास के संदर्भों के बीच संबंध को समझता है।

एक उदाहरण के रूप में पाठ लेते हैं। GPT-2 मूल पाठ का एक नमूना लेता है, भ्रष्ट होने के लिए 15% टोकन चुनता है, फिर उनमें से 80% मुखौटे (उदाहरण के लिए विशेष मुखौटा टोकन के साथ बदलता है, आमतौर पर ___), शब्दकोश से कुछ अन्य यादृच्छिक टोकन के साथ 10% बदलता है, और शेष 10% बरकरार है। लो मैं एक गेंद फेंक दिया, और यह घास पर गिर गया । भ्रष्टाचार के बाद ऐसा लग सकता है: मैंने कार बॉल फेंकी, और यह घास के लिए ___ । आम शब्दों में, नेटवर्क को मूल रूप से बहाल करने के लिए, यह सीखने की जरूरत है, कि फेंकी गई कुछ चीजों की संभावना कम हो जाएगी, और कार की गेंद संदर्भ में कुछ बहुत ही असामान्य है।

एक मॉडल जिसे प्रशिक्षित किया गया है, जो आंशिक डेटा उत्पन्न / पूरा करने में अच्छा है, लेकिन उच्च-स्तरीय सुविधाओं ने इसे सीखा (आंतरिक परतों के आउटपुट के रूप में) अन्य उद्देश्यों के लिए एक परत या उनके ऊपर दो जोड़कर और ठीक-ट्यूनिंग के लिए उपयोग किया जा सकता है। केवल एक पारंपरिक तरीके से वास्तविक, छोटे , मानव-चिह्नित डेटासेट पर नई अंतिम परत ।

आत्म-ध्यान को विरल करना

GPT-2 विरल स्व-ध्यान नामक कुछ का उपयोग करता है। संक्षेप में, यह एक तकनीक है, जो तंत्रिका नेटवर्क को बड़े इनपुट को संसाधित करने में सक्षम बनाती है, जो इसके कुछ हिस्सों को दूसरों की तुलना में अधिक ध्यान केंद्रित करता है। और नेटवर्क सीखता है कि प्रशिक्षण के दौरान इसे कहां "देखना" चाहिए। इस ब्लॉग पोस्ट में ध्यान तंत्र को बेहतर तरीके से समझाया गया है।

इस खंड के शीर्षक में विरल हिस्सा एक प्रतिबंध को संदर्भित करता है, जिस पर इनपुट के खंड ध्यान तंत्र से चुन सकते हैं। प्रारंभिक ध्यान पूरे इनपुट से चुन सकता है। इसके कारण इसका वजन मैट्रिक्स O (input_size ^ 2) हो गया, जो इनपुट के आकार के साथ बहुत तेज़ी से बढ़ता है। विरल ध्यान आमतौर पर किसी तरह से प्रतिबंधित करता है। उस पर अधिक जानकारी के लिए, एक और OpenAI ब्लॉग पोस्ट पर एक नज़र डालें।

जीपीटी -2 में ध्यान बहु-प्रधान है । कल्पना करें कि आपके पास एक अतिरिक्त आंख हो सकती है या दो आप यह जांचने के लिए उपयोग कर सकते हैं कि वर्तमान एक को पढ़ने को रोकने के बिना अंतिम पैराग्राफ में क्या था।

कई और

अवशिष्ट कनेक्शन , बाइट जोड़ी एन्कोडिंग , अगले वाक्य भविष्यवाणी, और कई और।

पोर्टिंग GPT-2 (और सामान्य रूप से पायथन को परिवर्तित करना)

मूल मॉडल कोड पायथन में है, लेकिन मैं एक C # आदमी हूं। सौभाग्य से, स्रोत कोड काफी पठनीय है, और इसका क्रूज़ सिर्फ 5 फाइलों में है, शायद कुल 500 लाइनें। इसलिए मैंने एक नया .NET मानक प्रोजेक्ट बनाया, ग्रेडिएंट (.NET के लिए एक TensorFlow बाइंडिंग) स्थापित किया, और उन फ़ाइलों को लाइन से C # में परिवर्तित कर दिया। मुझे लगभग 2 घंटे लगे। कोड में एकमात्र पायथोनिक चीज पाईप से पाइथन रेगेक्स मॉड्यूल का उपयोग थी (पायथन के लिए सबसे अधिक इस्तेमाल किया जाने वाला पैकेज मैनेजर), क्योंकि मैं पाइथन नियमित अभिव्यक्तियों की जटिलताओं को सीखने में समय बर्बाद नहीं करना चाहता था ( जैसे कि यह पर्याप्त नहीं था) से निपटने के लिए। पहले से ही )।

अधिकतर रूपांतरणों में समान वर्गों को परिभाषित करने, प्रकार जोड़ने और इसी प्रकार के LINQ निर्माणों में पायथन सूची समझ को फिर से लिखना शामिल था। मानक पुस्तकालय से LINQ के अलावा, मैंने MoreLinq का उपयोग किया, जो कि उदाहरण के लिए LINQ क्या कर सकता है, इसका थोड़ा विस्तार करता है:

bs = list(range(ord("!"), ord("~")+1)) + list(range(ord("¡"), ord("¬")+1)) + list(range(ord(""), ord("ÿ")+1)) 

में बदल गया:

 var bs = Range('!', '~' - '!' + 1) .Concat(Range('¡', '¬' -'¡' + 1)) .Concat(Range('', 'ÿ' - '' + 1)) .ToList(); 

एक और चीज जिससे मुझे लड़ना पड़ा, वह था कि जिस तरह से पायथन हैंडल रेंज के बीच एक विसंगति थी, और आगामी सी # 8 में नए रेंज और इंडेक्स की सुविधा है, जिसे मैंने अपने शुरुआती रन डिबग करते समय खोजा था: सी # 8 में रेंज का अंत समावेशी है , जबकि पायथन में यह अनन्य है (पायथन में बहुत अंतिम तत्व को शामिल करने के लिए आपको सही पक्ष को छोड़ना होगा .. अभिव्यक्ति)।

कंप्यूटर विज्ञान में दो कठिन चीजें हैं: कैश अमान्यकरण, नामकरण की चीजें और ऑफ-बाय-वन त्रुटियां।

दुर्भाग्य से, मूल स्रोत ड्रॉप में कोई प्रशिक्षण या यहां तक ​​कि ठीक-ट्यूनिंग कोड शामिल नहीं था, लेकिन नील शेपरड ने अपने गिटहब पर एक साधारण ठीक-ट्यूनर प्रदान किया, जिसे मुझे भी पोर्ट करना था। वैसे भी, उस प्रयास का परिणाम एक C # कोड है , जिसका उपयोग GPT-2 के साथ खेलने के लिए किया जा सकता है, अब ग्रेडिएंट सैम्पल रिपॉजिटरी का एक हिस्सा है।

पोर्टिंग एक्सरसाइज का बिंदु दो-गुना है: पोर्ट करने के बाद कोई व्यक्ति अपने पसंदीदा C # IDE में मॉडल कोड के साथ खेल सकता है, और यह दिखाने के लिए, कि अब कस्टम में काम करने वाले अत्याधुनिक डीप लर्निंग मॉडल प्राप्त करना संभव है .NET कुछ ही समय बाद रिलीज़ होता है (GPT-2 के कोड ड्रॉप और बिलियन सॉन्ग्स की पहली रिलीज़ के बीच - बस एक महीने से थोड़ा अधिक)।

गाने के बोल के लिए बढ़िया ट्यूनिंग

वहाँ कई तरीके हैं एक गीत के बोल का एक बड़ा कोष मिल सकता है। आप इसे HTML पार्सर के साथ होस्ट करने वाली इंटरनेट वेबसाइटों में से एक को स्क्रैप कर सकते हैं, इसे अपने कराओके संग्रह या एमपी 3 फ़ाइलों से बाहर निकाल सकते हैं। सौभाग्य से, किसी ने हमारे लिए किया। मुझे कागले पर काफी तैयार गीत डेटासेट मिले । " हर गीत जो आपने सुना है " सबसे बड़ा लग रहा था। GPT-2 को ठीक करने की कोशिश करते हुए, मुझे दो समस्याओं का सामना करना पड़ा।

सीएसवी पढ़ना

हां, आपने इसे सही ढंग से पढ़ा, CSV पार्सिंग एक समस्या थी । प्रारंभ में, मैं फ़ाइल को पढ़ने के लिए, मशीन सीखने के लिए नए Microsoft पुस्तकालय ML.NET का उपयोग करना चाहता था। हालाँकि, दस्तावेज़ीकरण के माध्यम से स्किम करने और इसे स्थापित करने के बाद, मुझे एहसास हुआ कि यह गाने में लाइन ब्रेक को ठीक से प्रोसेस करने में विफल रहा। कोई फर्क नहीं पड़ता कि मैंने क्या किया, यह कुछ सौ उदाहरणों के बाद संघर्ष किया, और शीर्षक और कलाकारों के साथ गीत के टुकड़े मिश्रण करना शुरू कर दिया।

इसलिए मुझे एक निम्न-स्तरीय लाइब्रेरी का सहारा लेना पड़ा, जिसका मुझे पहले से बेहतर अनुभव था: CsvHelper । यह एक DataReader- जैसा इंटरफ़ेस प्रदान करता है। आप यहां इसका उपयोग करके कोड देख सकते हैं। अनिवार्य रूप से, आप एक फ़ाइल खोलते हैं, एक CsvReader कॉन्फ़िगर करते हैं, और फिर .Read ( ) को कॉल (s) के साथ .GetField (fieldName) में कॉल करते हैं ।

लघु गीत

OpenAI द्वारा उपयोग किए जाने वाले मूल डेटासेट में एक औसत लेख की तुलना में अधिकांश गाने कम हैं। GPT-2 प्रशिक्षण पाठ के बड़े टुकड़ों पर अधिक कुशल है, इसलिए मुझे ट्रेनर को खिलाने के लिए कई गीतों को निरंतर पाठ विखंडन में बंडल करना पड़ा। OpenAI भी इस तकनीक का उपयोग करने के लिए लग रहा था, इसलिए उनके पास एक विशेष टोकन था <<endoftext |>> , जो एक चंक के भीतर पूर्ण ग्रंथों के बीच एक विभाजक के रूप में कार्य करता है, और प्रारंभ टोकन के रूप में दोगुना हो जाता है। जब तक निश्चित संख्या में टोकन नहीं मिल जाते, तब तक मैंने गीतों को बांध दिया, फिर प्रशिक्षण डेटा में शामिल करने के लिए पूरा हिस्सा वापस कर दिया। प्रासंगिक कोड यहाँ है ।

ट्यूनिंग के लिए हार्डवेयर आवश्यकताएं

यहां तक ​​कि जीपीटी -2 का छोटा संस्करण बड़ा है। जीपीयू रैम के 12 जीबी के साथ मैं केवल बैच आकार 2 पर सेट कर सकता था (जैसे एक बार में दो टुकड़ों पर ट्रेन, बड़े बैच आकार GPU प्रदर्शन और प्रशिक्षण परिणामों में सुधार करते हैं)। 3 CUDA में मेमोरी से बाहर फेंक देगा। और इसे मेरे V100 पर वांछित प्रदर्शन को ट्यून करने में आधा दिन लगा। बोनस आप प्रगति देख सकते हैं, जैसा कि अब और फिर प्रशिक्षण कोड कुछ उत्पन्न नमूनों का उत्पादन करता है, जो कि सादे सरल पाठ के रूप में शुरू होता है, और प्रशिक्षण प्रगति के रूप में गीत के बोलों की तरह अधिक से अधिक दिखते हैं।

मैंने इसकी कोशिश नहीं की है, लेकिन सीपीयू पर प्रशिक्षण शायद बहुत धीमा होगा ।

पूर्व-ट्यून्ड मॉडल

जैसा कि मैं इस ब्लॉग पोस्ट को तैयार कर रहा था, मैंने महसूस किया कि बेहतर होगा कि सभी को गीत के मॉडल को ट्यूनिंग पर खर्च करने के लिए मजबूर न किया जाए, इसलिए मैंने बिलियन सोंग्स रिपॉजिटरी में प्री-ट्यून को रिलीज़ किया । यदि आप बिलियन सोंग्स चलाना चाहते हैं, तो आपको इसे मैन्युअल रूप से डाउनलोड करने की आवश्यकता नहीं है। प्रोजेक्ट डिफ़ॉल्ट रूप से आपके लिए करेगा।

एक वेबसाइट बनाना

ठीक है! यह एक गीत (सॉर्ट) की तरह दिखता है, अब एक वेब साइट बनाते हैं!

चूंकि मैं कोई एपीआई प्रदान करने की योजना नहीं बना रहा हूं, इसलिए मैं एमवीसी के विपरीत रेजर पेज टेम्पलेट चुनता हूं। मैंने प्राधिकरण को भी चालू कर दिया, क्योंकि हम उपयोगकर्ताओं को सर्वश्रेष्ठ गीत के लिए वोट करने और शीर्ष 10 चार्ट रखने की अनुमति देंगे।

एमवीपी को आगे बढ़ाते हुए, मैंने आगे बढ़कर एक Song.cshtml वेब पेज बनाया, जिसका लक्ष्य अब केवल GPT-2 को कॉल करना और एक यादृच्छिक गीत प्राप्त करना होगा। पृष्ठ का लेआउट तुच्छ है, और मूल रूप से गीत और उसके शीर्षक के होते हैं:

 @page "/song/{id}" @model BillionSongs.Pages.SongModel</p> @{ ViewData["Title"] = @Model.Song.Title ?? "Untitled"; } <article style="text-align: center"> <h3>@(Model.Song.Title ?? "Untitled")</h3> <pre>@Model.Song.Lyrics</pre> </article> 

अब क्योंकि मुझे मेरा कोड पुन: प्रयोज्य लगता है, इसलिए मैंने एक इंटरफ़ेस बनाया, जो मुझे बाद में अलग-अलग गीत जनरेटर प्लग करने देगा, जो ASP.NET द्वारा SongModel में इंजेक्ट किया जाएगा।

 interface ILyricsGenerator { Task<string> GenerateLyrics(uint song, CancellationToken cancellation); } 

अब के लिए गीत शीर्षक को स्वीकार करते हुए, हमें बस इतना करना है कि स्टार्टअप में Gpt2LICEGenerator को पंजीकृत करें । सेवाओं को कॉन्फ़िगर करें और इसे SongModel से कॉल करें। तो चलो जनरेटर पर शुरू करते हैं। और पहली चीज जिसे हमें सुनिश्चित करना है, वह है हमारे पास

दोहराने योग्य गीत पीढ़ी

क्योंकि मैंने शीर्षक में एक साहसिक बयान दिया था, कि यह 1 बिलियन से अधिक गीत होने जा रहे हैं, इन सभी को बनाने और संग्रहीत करने के बारे में भी मत सोचो। सबसे पहले, किसी भी मेटाडेटा के बिना, यह डिस्क स्थान के 1 टीबी से अधिक पर ले जाएगा। दूसरा, एक नया गीत उत्पन्न करने के लिए मेरे नेटटॉप पर ~ 3 मिनट लगते हैं, इसलिए उन सभी को उत्पन्न करने में हमेशा के लिए लगेगा। और मैं जरूरत पड़ने पर Int64 पर स्विच करके उस बिल को एक क्विंटलियन में बदलने में सक्षम होना चाहता हूं! कल्पना कीजिए कि हम 1 क्विंटलियन गाने पर 1 प्रतिशत प्रति गीत बना सकते हैं? यह दुनिया के मौजूदा वार्षिक जीडीपी से अधिक होगा!

इसके बजाय, हमें यह सुनिश्चित करने की आवश्यकता है कि GPT-2 एक ही गीत को बार-बार जनरेट करता है, जिसे उसकी आईडी दी गई है, जिसे मैं मार्ग में निर्दिष्ट करता हूं। उस उद्देश्य के लिए TensorFlow किसी भी समय tf.set_random_seed फ़ंक्शन के माध्यम से अपने आंतरिक नंबर जनरेटर के बीज को सेट करने की क्षमता देता है: tf.set_random_seed (songNumber) । तब मैं सिर्फ Gpt2Sampler.SampleSequence को कॉल करना चाहता था, एन्कोडेड गाने का टेक्स्ट पाने के लिए, इसे डीकोड कर दूं , और परिणाम वापस कर दूंगा , इस प्रकार Gpt2LICEGenerator को पूरा करूंगा ।

दुर्भाग्य से, पहले प्रयास पर जो उम्मीद के मुताबिक काम नहीं किया। जब भी मैं ताज़ा बटन दबाऊंगा, पृष्ठ पर एक नया अनूठा पाठ लौटाया जाएगा। काफी डिबगिंग के बाद, मुझे आखिरकार पता चला, कि TensorFlow 1.X में प्रजनन संबंधी महत्वपूर्ण मुद्दे हैं: कई ऑपरेशनों में आंतरिक स्थिति होती है, जो कि set_random_seed से प्रभावित नहीं होते हैं और रीसेट करने के लिए पहुंचने में कठिन होते हैं।

मॉडल चर के पुनर्मूल्यांकन ने उस समस्या को ऑफसेट करने में मदद की, लेकिन इसका मतलब यह भी था कि सत्र को फिर से बनाया जाना चाहिए, और मॉडल वेट को हर कॉल पर पुनः लोड करना होगा। उस आकार के एक सत्र को पुनः लोड करने के कारण एक विशाल स्मृति रिसाव हुआ। TensorFlow C ++ स्रोत कोड में इसके कारण की तलाश से बचने के लिए, मैंने टेक्स्ट जनरेशन-इन-प्रोसेस करने के बजाय, Process.Start के साथ एक नई प्रक्रिया को स्पॉन करने का निर्णय लिया, वहां टेक्स्ट जेनरेट करें और इसे मानक आउटपुट से पढ़ें। जब तक TensorFlow में मॉडल स्थिति को रीसेट करने का एक तरीका स्थिर नहीं हो जाता है, तब तक यह रास्ता होगा।

इसलिए मैं दो वर्गों के साथ समाप्त हुआ: Gpt2LricGenerator , जो ऊपर से ILricGenerator को कार्यान्वित करता है, कमांड लाइन मापदंडों के साथ BillionSongs.exe का एक नया उदाहरण पैदा करता है, जिसमें गीत आईडी शामिल है, और अंततः गीतों को उत्पन्न करने के लिए GPT-2 को तत्काल Tpt2TextGenerator कहते हैं, और बस इसे प्रिंट करता है।

अब पृष्ठ को ताज़ा करने से मुझे हमेशा एक ही पाठ मिला।

एक गीत उत्पन्न करने के लिए 3 मिनट के समय के साथ काम करना

यह कितना भयानक उपयोगकर्ता अनुभव होगा! आप एक वेबसाइट पर जाते हैं, "नया गीत बनाएँ" पर क्लिक करें, और 3 (!) मिनट के लिए कुछ भी नहीं होता है जबकि मेरा नेटटॉप आपके द्वारा अनुरोध किए गए गीत के बोल उत्पन्न करने के लिए अपना समय लेता है।

मैंने इस समस्या को कई स्तरों पर हल किया है:

गीतों की प्रस्तुति दी

जैसा कि ऊपर उल्लेख किया गया है, आप सभी गीतों को पहले से तैयार नहीं कर सकते हैं, और उन्हें डेटाबेस से सेवा कर सकते हैं। और आप सिर्फ मांग पर उत्पन्न नहीं कर सकते, क्योंकि यह धीमा है। तो आप क्या कर सकते हैं?

सरल! चूंकि उपयोगकर्ताओं के लिए एक नया गाना देखने का प्राथमिक तरीका "रैंडम बनाओ" बटन पर क्लिक करना है, चलो पहले से बहुत सारे गीतों को पहले से तैयार कर लें, उन्हें एक समवर्ती पंक्ति में रखें , और "रैंडम बनाएं" पॉप गीतों से इसे करें। जबकि आगंतुकों की संख्या कम है, सर्वर कुछ गीतों को उत्पन्न करने के लिए उनके बीच समय लेगा, जो तब आसानी से सुलभ होगा।

एक और तरकीब, जिसका मैंने इस्तेमाल किया, वह है कि कतार को कई बार लूप करना, ताकि कई उपयोगकर्ता एक ही प्रीगेंरेटेड गाने को देख सकें। बस रैम उपयोग के बीच एक संतुलन रखने की जरूरत है, और कितनी बार एक उपयोगकर्ता को "रैंडम बनाओ" पर क्लिक करने के लिए उसे पहले देखा गया कुछ देखना होगा। मैंने केवल 50,000 गानों को एक उचित संख्या के रूप में चुना, जो कि सिर्फ 50MB रैम लेता है, जबकि काफी बड़ी संख्या में क्लिक्स प्रदान करता है।

मैंने उस कार्यक्षमता को कक्षा में लागू किया है PregeneratedSongProvider : IRandomSongProvider (इंटरफ़ेस को "यादृच्छिक बनाएं" बटन को संभालने के लिए जिम्मेदार कोड में इंजेक्ट किया गया है)।

कैशिंग

प्रीगेंरेटेड गाने मेमोरी में कैश्ड होते हैं, लेकिन मैंने ब्राउज़र को सार्वजनिक करने के लिए HTTP कैश हेडर भी सेट किया है, और सीडीएन (मैं CloudFlare का उपयोग करता हूं) इसे कैश करने के लिए एक यूजर इनफ्लो से हिट होने से बचने के लिए।

 [ResponseCache(VaryByHeader = "User-Agent", Duration = 3*60*60)] public class SongModel: PageModel { … } 

लोकप्रिय गीतों की वापसी

ठीक-ठीक GPT-2 द्वारा उस तरीके से बनाए गए अधिकांश गाने बहुत सुस्त हैं, यदि अल्पविकसित नहीं हैं। "रैंडम बनाओ" को और अधिक आकर्षक बनाने के लिए, मैंने एक 25% संभावना जोड़ी है, कि पूरी तरह से रैंडम गीत के बजाय आपको कुछ गीत मिलेंगे, जो पहले अन्य उपयोगकर्ताओं द्वारा उतारा गया था। सगाई बढ़ाने के अलावा, यह मौका बढ़ाता है, कि आप सीडीएन में या स्मृति में, कैश्ड एक गीत का अनुरोध करेंगे।

स्टार्टअप क्लास में ASP.NET निर्भरता इंजेक्शन का उपयोग करके ऊपर दी गई सभी तरकीबों को एक साथ तार दिया गया है।

मतदान

मतदान कार्यान्वयन के बारे में बहुत कुछ खास नहीं है। वहाँ है SongVoteCache , कि तारीख तक रहता है। और एक iframe गीत पृष्ठ पर वोट बटन की मेजबानी करता है , जो पृष्ठ के आवश्यक भाग - शीर्षक और गीतों को कैश करने की अनुमति देता है, जबकि वोट मायने रखता है और लॉगिन स्थिति बाद में लोड होती है।

अंतिम परिणाम

मेरा नेटटॉप पर चलने वाला एक डेमो संस्करण , CloudFlare द्वारा संचालित (इसे कुछ सुस्त, इसके कोर i3) अब फ्रोजन कर दिया गया है और इसे Azure App Service free tier में स्थानांतरित कर दिया गया है।

GitHub रिपॉजिटरी , जिसमें स्रोत कोड है, और वेबसाइट चलाने और मॉडल को ट्यून करने के निर्देश हैं।

भविष्य के लिए योजनाएं / अभ्यास

शीर्षक उत्पन्न करें

GPT-2 फाइन-ट्यून के लिए बहुत आसान है। एक ही तरह के डेटासेट से शीर्षक के द्वारा कृत्रिम टोकन के साथ डेटासेट से गीत के प्रत्येक नमूने को पूर्वनिर्मित या प्रत्यय करके इसे गाने के शीर्षक बना सकते हैं।

वैकल्पिक रूप से, उपयोगकर्ताओं को खिताब के लिए सुझाव देने और / या वोट करने की अनुमति दी जा सकती है।

संगीत उत्पन्न करें

बिली सोंग्स को विकसित करने के आधे रास्ते में मुझे लगा कि मिडी फ़ाइलों का एक गुच्छा डाउनलोड करने के लिए यह शांत होगा (यह एक पुराने-स्कूल संगीत प्रारूप है, जो पाठ के बहुत करीब है, एमपी 3 की तुलना में), और अधिक उत्पन्न करने के लिए उन पर GPT-2 को प्रशिक्षित करें। । उन फ़ाइलों में से कुछ में भी पाठ एम्बेडेड था, ताकि आप कराओके पीढ़ी प्राप्त कर सकें ।

मुझे पता है कि संगीत पीढ़ी इस तरह से बहुत संभव है, क्योंकि कल ओपनएआई ने अपने ब्लॉग में उस विचार के कार्यान्वयन को प्रकाशित किया । लेकिन, हुर्रे, उन्होंने कराओके नहीं किया! मैंने पाया, कि उस उद्देश्य के लिए http://www.midi-karaoke.info को परिमार्जन करना संभव है।

.NET के लिए ग्रेडिएंट उर्फ ​​टेंसोरफ्लो

कृपया, किसी भी अद्यतन के लिए हमारे ब्लॉग को देखें।