क्लासिक ऐ शैली: एमएल खुद कविता में तलाश करता है

अब प्रेस में अक्सर ऐसी खबरें आती हैं जैसे "एआई ने लेखक एक्स की शैली में लिखना सीखा", ​​या "एमएल कला बनाता है।" इसे देखते हुए, हमने फैसला किया - यह बहुत अच्छा होगा अगर इन हाई-प्रोफाइल बयानों को व्यवहार में सत्यापित किया जा सकता है।

क्या कविता लिखने के लिए बॉट के बीच लड़ाई की व्यवस्था करना संभव है? क्या एक प्रतिस्पर्धी कहानी को इससे स्पष्ट और प्रतिलिपि प्रस्तुत करने योग्य बनाया जा सकता है? अब हम यह सुनिश्चित करने के लिए कह सकते हैं कि यह संभव है। और कविताएँ बनाने के लिए अपना पहला एल्गोरिदम कैसे लिखें, पर पढ़ें।

1. क्लासिक ऐ

प्रतिभागियों का कार्य

प्रतियोगिता की शर्तों के अनुसार, प्रतिभागियों को एक मॉडल बनाने की जरूरत है जो किसी रूसी क्लासिक्स की शैली में किसी दिए गए विषय पर कविताएं उत्पन्न करता है। विषय और लेखक को इनपुट के लिए मॉडल के साथ प्रस्तुत किया जाता है, और आउटपुट पर एक कविता की उम्मीद की जाती है। पूर्ण विवरण प्रतियोगिता के भंडार में है ।

विषय के साथ स्थितियां नरम होती हैं: यह एक छोटा वाक्य, वाक्यांश या कुछ शब्द हो सकते हैं। केवल प्रतिबंध आकार पर है: 1000 से अधिक वर्ण नहीं। जिन विषयों पर एल्गोरिदम का परीक्षण किया जाएगा, उन्हें विशेषज्ञों द्वारा संकलित किया जाएगा। कुछ विषय खुले और सार्वजनिक होंगे, लेकिन सर्वश्रेष्ठ एल्गोरिथ्म निर्धारित करने के लिए विषयों के एक छिपे हुए सेट का उपयोग किया जाएगा।

प्रतियोगिता का वैश्विक विचार यह है: किसी भी कविता के लिए कई शब्दों का संक्षिप्त विवरण संकलित किया जा सकता है। चलिए एक उदाहरण दिखाते हैं।

यदि आप "यूजीन वनगिन" के एक अंश को ए.एस. पुश्किन :

"... उस वर्ष, शरद ऋतु का मौसम
मैं काफी देर तक यार्ड में खड़ा रहा
सर्दी इंतजार कर रही थी, प्रकृति इंतजार कर रही थी।
जनवरी में ही बर्फ गिरी थी
तीसरी रात को। जल्दी जागना
तात्याना ने खिड़की से देखा
सुबह सफेद यार्ड
पर्दे, छत और बाड़,
कांच पर प्रकाश पैटर्न
सर्दियों की चांदी में पेड़
यार्ड में चालीस मज़ा
और धीरे-धीरे पहाड़ों को छिन्न-भिन्न किया
शानदार कालीन के साथ सर्दियाँ।
सब कुछ उज्ज्वल है, सब कुछ सफेद है ... "1823-1830

इसका संक्षिप्त सारांश "फिटन खिड़की के माध्यम से पहली बर्फ देखता है" में फिट हो सकता है। और फिर इस इनपुट के लिए आदर्श काव्य मॉडल मूल के बहुत करीब कुछ पैदा करेगा।

इस प्रतियोगिता में प्रशिक्षण के लिए, पांच प्रसिद्ध रूसी कवियों के 3000 से अधिक कार्यों का डेटा प्रस्तावित है:

1. पुश्किन
2. यसिनन
3. मायाकोवस्की
4. ब्लॉक
5. टुटेचेव

एल्गोरिथ्म लिखा जाना चाहिए ताकि यह जल्दी से पर्याप्त उत्पन्न हो और इसमें आवश्यक इंटरफ़ेस हो। गति के मामले में, आप मध्यम आकार के आधुनिक पीसी की शक्ति के बराबर कर सकते हैं। इंटरफ़ेस और प्रतिबंधों को "समाधान प्रारूप" अनुभाग में विस्तार से वर्णित किया गया है।

अपने निर्णयों की प्रगति को ट्रैक करने में सक्षम होने के साथ-साथ प्रतिभागियों के अन्य निर्णयों के साथ उनकी तुलना करें, चैट बॉट के माध्यम से निर्णयों के मार्कअप पूरे प्रतियोगिता में होंगे। एल्गोरिदम के परिणामों का मूल्यांकन दो मानदंडों के अनुसार किया जाएगा:

• वर्चस्व की गुणवत्ता और किसी दिए गए शास्त्रीय कवि की शैली
• एक कविता में दिए गए विषय के प्रकटीकरण की पूर्णता

प्रत्येक मानदंड के लिए 5-पॉइंट स्केल प्रदान किया जाएगा। एल्गोरिदम को टेस्ट सूट से प्रत्येक विषय के लिए छंदों की रचना करनी होगी। जिन विषयों पर एल्गोरिदम का परीक्षण किया जाएगा, उन्हें विशेषज्ञों द्वारा संकलित किया जाएगा। कुछ विषय खुले और सुलभ होंगे, लेकिन सर्वश्रेष्ठ एल्गोरिथ्म की पहचान करने के लिए विषयों के एक छिपे हुए सेट का उपयोग किया जाएगा।

एल्गोरिथ्म के परिणामस्वरूप प्राप्त कविता को निम्नलिखित कारणों से अस्वीकार किया जा सकता है:

• उत्पन्न पाठ रूसी में कविता नहीं है
• उत्पन्न पाठ में बेईमानी भाषा है
• उत्पन्न पाठ में जानबूझकर शामिल अपमानजनक वाक्यांश या सबटेक्स्ट शामिल हैं

प्रतियोगिता का कार्यक्रम

कई के विपरीत, इस प्रतियोगिता में केवल एक ऑनलाइन चरण है: 30.07 से 26.08 तक।

इस अवधि के दौरान, आप निम्न प्रतिबंधों के साथ दैनिक समाधान भेज सकते हैं:

• प्रतियोगिता के दौरान 200 से अधिक निर्णय नहीं
• प्रति दिन 2 से अधिक सफल निर्णय नहीं
• उन फैसलों की दैनिक सीमा में गिनती न करें जिनका सत्यापन विफल हो गया

पुरस्कार राशि कार्य की जटिलता से मेल खाती है: पहले तीन स्थानों पर 1 मिलियन रूबल प्राप्त होंगे!

2. पद्य जनरेटर बनाने के लिए दृष्टिकोण

जैसा कि यह पहले से ही स्पष्ट हो गया है, कार्य गैर-तुच्छ है, लेकिन नया नहीं है। आइए यह जानने की कोशिश करें कि शोधकर्ताओं ने इस समस्या से पहले कैसे संपर्क किया? आइए पिछले 30 वर्षों के कविता जनरेटर बनाने के लिए सबसे दिलचस्प दृष्टिकोण देखें।

3. एक कृत्रिम कवि का प्रोग्रामिंग

एक साधारण काव्यात्मक जनित्र का उदाहरण

एक ओर प्रतियोगिता काफी जटिल लग सकती है, लेकिन उसके लिए एक सरल लेकिन काम करने वाली आधार रेखा बनाना काफी संभव है।

शर्त के अनुसार, लेखक के पहचानकर्ता (Author_id) और विषय का पाठ (बीज) इस कार्यक्रम के इनपुट में प्रवेश करते हैं, इसके जवाब में मॉडल को कविता को वापस करना चाहिए।

आइए विषय को औपचारिक रूप देने की कोशिश करें ताकि इसे एक निश्चित वेक्टर अर्थ स्थान के भीतर सुरक्षित रूप से संचालित किया जा सके। इसका सबसे आसान तरीका है कि प्रत्येक शब्द (उदाहरण के लिए, Word2Vec) का सिमेंटिक वेक्टर प्राप्त करें और फिर उन्हें औसत करें।
इस प्रकार, हमें एक प्रकार का "बीड 2 सीवी" मिलता है, जो हमें थीम को वेक्टर में अनुवाद करने की अनुमति देता है।

वास्तव में, यह अनुसंधान के लिए एक व्यापक विषय को खोलता है, जैसा कि विषय को अलग करने की समस्या लंबे समय से वैज्ञानिकों का सामना कर रही है, यहां कुछ उदाहरण दिए गए हैं:

- एलडीए के माध्यम से विषयों पर प्रकाश डाला
- lda2vec
- sent2vec
- WMD

अब, आपको यह समझने की आवश्यकता है कि इस लेखक की शैली में एक कविता बनाने के लिए Author_id का उपयोग कैसे करें।

यहां यह विचार कम सरल नहीं है: आइए एक लेखक की यादृच्छिक कविता को छंदों के कोष से लें, जिसके बाद हम प्रत्येक शब्द को दूसरे के साथ बदलेंगे जो मूल के साथ सबसे अधिक व्यंजन है (समान संख्या में शब्दांश हैं, समान तनाव और अंतिम तीन अक्षर लेवेंसहाइट की दूरी के संदर्भ में मूल के समान हैं) और यह विषय वेक्टर के लिए सबसे समान वेक्टर है। उदाहरण के लिए, "फुटबॉल" और लाइन "और यह एम्बर की तरह चमकता है" विषय के लिए, आउटपुट लाइन "और एक गोलकीपर की तरह खेली जा सकती है"। इस प्रकार, हमें पाठ का एक प्रकार का सरलीकरण मिलता है।

प्रतिस्थापन के लिए शब्दों के आधार के रूप में, एक डेटासेट का उपयोग किया गया था, जिसमें विकिपीडिया के ग्रंथों के छोटे पैराग्राफ होते हैं (इसके उपयोग का विवरण GitHub पर बेसलाइन कोड में पाया जा सकता है)।

इस प्रसंस्करण के बाद, ऐसे ग्रंथ प्राप्त किए जाएंगे जो लेखक द्वारा कविता की तरह दिखेंगे, लेकिन साथ ही साथ एक ऐसा विषय भी शामिल होगा जिसे लेखक ने रखा नहीं था।

आधार रेखा का परिणाम:

विषय: भौतिकी
शैली: ब्लॉक

सीसा और विस्मुट इकाइयाँ
प्राचीन नॉनलाइन मीडिया की भैंस
मैं एक केल्विन कण बोर्ड पर हूँ
अपनी घटना के बाद अपने वैज्ञानिक
फैराडे सेविले कॉकरोच
अब उनका आविष्कार हो रहा है
मध्यम फोनन गुरुत्वाकर्षण
पॉज़िट्रॉन घोस्ट स्कूल स्मोक

थीम: गणित
शैली: ब्लॉक

विचारों के बीच प्रयोगशालाओं के एक मग की तरह
घुमावदार और स्कूल जानें
लेकिन रचनात्मकता के अध्ययन में एक झुंड एक झुंड
मस्तिष्क के बच्चों के लिए उदाहरण
तैराक घटता जानता है
और तख्तापलट हो जाएगा और अदालत सीनेट में जाएगी
एक रट की बेटी की तुलना में अधिक प्राचीन गोबा
और सूर्य संकटग्रस्त हो गया
तैराक यूक्लिडियन पर सभी छाया का अध्ययन करता है
शीर्षक प्रकाशित और कोटा है
श्रम के साथ इसमें महारत हासिल की
प्रोफेसर शैक्षिक मजाक

जाहिर है, बेस लाइन सही नहीं है, और इसलिए यह बेस लाइन है।

आप आसानी से कुछ सुविधाओं को जोड़ सकते हैं जो पीढ़ी को बेहतर बनाने और आपको शीर्ष में बढ़ाने में मदद करेंगे:

• आपको डुप्लिकेट शब्दों को हटाने की आवश्यकता है, क्योंकि एक शब्द को स्वयं पर कविता करना एक अच्छे कवि के लिए महान नहीं है
• अब शब्द किसी भी तरह से एक दूसरे के अनुरूप नहीं हैं, क्योंकि हम भाषण के कुछ हिस्सों और शब्दों के मामलों के बारे में जानकारी का उपयोग नहीं करते हैं
• आप शब्दों के एक समृद्ध शरीर का उपयोग कर सकते हैं, उदाहरण के लिए, एक विकिपीडिया डंप
• अन्य एम्बेडिंग का उपयोग करने से भी सुधार हो सकता है, उदाहरण के लिए, फास्टटेक्स्ट शब्दों के स्तर पर काम नहीं करता है, लेकिन एन-ग्राम के स्तर पर, जो इसे अज्ञात शब्दों के लिए एम्बेड करने की अनुमति देता है
• विषय वेक्टर की गणना के लिए शब्दों का वजन करते समय वजन के रूप में आईडीएफ का उपयोग करें

यहां आप अपने विवेक पर कई और बिंदु जोड़ सकते हैं।

प्रेषण के लिए एक समाधान तैयार करना

मॉडल प्रशिक्षित होने के बाद, ज़िप संग्रह में पैक किए गए एल्गोरिदम कोड को परीक्षण प्रणाली में भेजना आवश्यक है।

परीक्षण के लिए डॉकर, समय और संसाधनों का उपयोग करके एक पृथक वातावरण में चलाए जाने वाले समाधान सीमित हैं। समाधान निम्नलिखित तकनीकी आवश्यकताओं को पूरा करना चाहिए:

यह पोर्ट 8000 पर उपलब्ध एक HTTP सर्वर के रूप में होना चाहिए, जो दो प्रकार के अनुरोधों का जवाब देता है:

GET /ready 

यदि कोड उपयोग के लिए तैयार है तो अनुरोध 200 कोड के साथ उत्तर दिया जाना चाहिए। किसी भी अन्य कोड का मतलब है कि समाधान अभी तैयार नहीं है। एल्गोरिथ्म में काम की तैयारी के लिए सीमित समय है, जिसके लिए आप डिस्क से डेटा पढ़ सकते हैं, रैम में आवश्यक डेटा संरचनाएं बना सकते हैं।

 POST /generate/<poet_id> 

कविता उत्पन्न करने का अनुरोध। कवि की पहचानकर्ता जिसकी शैली में रचना करना आवश्यक है, URL में इंगित किया गया है। अनुरोध की सामग्री JSON के निबंध के विषय वाले एकल बीज क्षेत्र के साथ है:

 {"seed": "   "} 

एक उत्तर के रूप में, आपको JSON को आवंटित समय में कविता क्षेत्र में उत्पन्न रचना के साथ देना होगा:

 {"poem": "   \n   \n..."} 

अनुरोध और प्रतिक्रिया में सामग्री-प्रकार: एप्लिकेशन / json होना चाहिए। UTF-8 एन्कोडिंग की सिफारिश की जाती है।


सबसे सामान्य त्रुटियों के विश्लेषण के साथ सिस्टम में समाधान भेजने पर विस्तृत जानकारी यहां उपलब्ध है ।

4. हैकाथॉन मंच

इस कॉन्टेस्ट की सभी आवश्यक जानकारी के साथ एक मंच Classic.sberbank.ai पर स्थित है। विस्तृत नियम यहां देखे जा सकते हैं । मंच पर आप कार्य और तकनीकी मुद्दों पर दोनों का जवाब पा सकते हैं, अगर कुछ गलत हो जाता है।


एमएल मॉडल के लिए रचनात्मक प्रतियोगिताएं आसान नहीं हैं। कई लोगों ने कविता पैदा करने के कार्य से संपर्क किया है, लेकिन अभी तक कोई महत्वपूर्ण सफलता नहीं मिली है। पहले से ही अब, हमारे Classic.sberbank.ai प्लेटफ़ॉर्म पर, पूरे रूस से प्रतिभागी इस कठिन कार्य में भाग ले रहे हैं। हम आशा करते हैं कि विजेताओं के निर्णय पहले बनाए गए सभी निर्णयों को पार करेंगे!

5. सन्दर्भ