यदि आपने USE के समय में हाई स्कूल से स्नातक की उपाधि प्राप्त की है, तो आप जानते हैं कि इसमें सभी कार्यों में मानक योगों का एक सेट है और यह प्रकार द्वारा क्रमबद्ध हैं। एक ओर, यह परीक्षा की तैयारी को आसान बनाता है: छात्र पहले से ही जानता है कि उसकी शर्तों को पढ़े बिना भी असाइनमेंट में क्या करना है। दूसरी ओर, सवालों के क्रम में किसी भी बदलाव से उसे परेशानी हो सकती है। मोटे तौर पर, इसका परिणाम इस बात से अधिक प्रभावित होने लगता है कि किसी व्यक्ति ने ऑटोमेटिज्म के फैसले लिए हैं, न कि यह कि वह किस तरह तरक्की करता है। परीक्षा एक स्क्रिप्ट की तरह हो जाती है।

एआई यात्रा सम्मेलन के भाग के रूप में , हमने एक एल्गोरिथ्म विकसित करने के लिए एक प्रतियोगिता आयोजित करने का निर्णय लिया , जो किसी व्यक्ति की तुलना में खराब परीक्षा दे सकता है। प्रतिभागियों को कार्यों के परीक्षण संस्करणों के साथ प्रदान किया जाता है जिनका उपयोग समाधानों को मान्य करने और प्रशिक्षण के लिए किया जा सकता है। Sberbank के कर्मचारियों के रूप में, हम एक पुरस्कार निधि का दावा नहीं कर सकते हैं, लेकिन फिर भी हमने इस समस्या को हल करने की कोशिश की और इस बारे में बात करना चाहते हैं कि हमने यह कैसे किया। Spoiler - हमें प्राप्त प्रमाण पत्र।

सिद्धांत की बिट

आज किसी भी कार्य के लिए तंत्रिका नेटवर्क का अनुप्रयोग पहले से ही श्रृंखला से एक कहानी है: "ऐसा कभी नहीं था, और यहां यह फिर से है।" लेकिन क्या वास्तव में एक तंत्रिका नेटवर्क के नए कार्यों को लागू किया जाना चाहिए?

ऐतिहासिक रूप से, सिद्धांतकार आर्टिफिशियल जनरल इंटेलिजेंस की अवधारणा में निम्नलिखित क्षमताएँ रखते हैं:

• अनिश्चितता की स्थिति में निर्णय लेना
• स्वयं सीखने
• दुनिया के बारे में ज्ञान का आधार बनाना
• बहुविषयकता, विभिन्न स्रोतों से जानकारी का संयुक्त प्रसंस्करण (पाठ, चित्र, ध्वनि)

रूपक "मस्तिष्क एक कंप्यूटर" के रूप में इन आवश्यकताओं को काफी हद तक परिभाषित किया गया है, और उनमें से एक को भी नहीं है, प्रशिक्षण को छोड़कर, अभी तक पूरी तरह से एआई ( \ (ツ) / to द्वारा लागू किया जाना है
हाल के वर्षों में, आप अधिक जटिल प्रणाली बनाने के पहले प्रयासों का निरीक्षण कर सकते हैं - उदाहरण के लिए, एलन इंस्टीट्यूट के अरस्तो ने 90% आठवीं कक्षा के लिए सामान्य ज्ञान के लिए परीक्षण पूरा किया।

रूसी भाषा में अंतिम परीक्षा में 27 कार्य हैं, जिनमें से 26 उत्तर या एक खुले उत्तर के विकल्प के साथ कार्य हैं, जिसमें आप अपने स्वयं के संस्करण में प्रवेश कर सकते हैं, और अंतिम पाठ पर एक निबंध है। अर्थात्, पहला कार्य हमेशा पाठ के अर्थ के बारे में होता है, चौथा - जोर के बारे में, सातवें - सामान्य भाषण त्रुटियों के बारे में, आदि। यह कार्य एमएल-सिस्टम को एक "मिडिल स्कूल के छात्र" की स्थिति में रखता है, जहां आपको पहले से कौशल और ज्ञान का एक मूल सेट प्राप्त करने की आवश्यकता होती है, और फिर उनका उपयोग करके प्रश्नों का सही उत्तर दें।

रूसी भाषा को पास करने के लिए, छात्र को यह करना होगा:

• सही ढंग से लिखना और बोलना सीखें,
  
• अपने विचारों की संरचना करना सीखें
  
• पाठ में तार्किक कनेक्शन को समझें, स्टाइल, स्पेलिंग, ऑर्थोपी, आदि को जानें।
  
• प्राचीन रूसी साहित्य के सबसे प्रसिद्ध स्मारकों से आधुनिक और मुख्य कार्यों, भूखंडों, समस्याओं या लेखन पर संचालित करने के लिए साहित्य की एक प्रभावशाली सूची पढ़ें।
  

यह जानते हुए कि आधुनिक एनएलपी विधियां अभी भी ऐसे कई कार्यों का सामना कर सकती हैं, हमने उन्हें आजमाने का फैसला किया।

हमारे द्वारा प्राप्त सभी डेटा को json प्रारूप में प्रस्तुत किया गया है, मानकीकृत है और इसमें एक स्पष्ट शब्द और पाठ है, जिस पर आपको कार्य पूरा करने की आवश्यकता है, यदि वे प्रश्न द्वारा प्रदान किए गए हैं तो विकल्पों का उत्तर दें।

Yandex.Tutor से स्क्रीनशॉट

कार्यों में प्रश्नों को मशीन के लिए बहुत अधिक रूप से तैयार किया गया है - आपको न केवल कार्य करने की आवश्यकता है - पाठ में त्रुटियों को खोजने और उन्हें ठीक करने के लिए, लापता अक्षरों को रखें, दिए गए शर्तों को पूरा करने वाले वाक्यों को ढूंढें, लेकिन उत्तर को भी सही ढंग से लिखें। यह एक त्रुटि के साथ ही अभिव्यक्ति हो सकती है या, इसके विपरीत, त्रुटियों के बिना उदाहरण, इन उदाहरणों की संख्या, आरोही क्रम में वाक्यों की संख्या आदि। और फिर हमने क्लासिक को याद किया:

सवाल उठाने की कला में, कानून निर्माता गोरसेक एक वास्तविक गुणी व्यक्ति थे। उसने चेलों को प्रभु के दस आदेशों को उलटने के लिए सूचीबद्ध करने के लिए मजबूर किया या मांग की:
- लुडविक, जल्दी से जवाब दें, खलनायक, "क्या मार नहीं है" से पहले अंत से तीसरे स्थान पर कौन सी आज्ञा है?
यारोस्लाव हसेक, "भगवान के कानून का पाठ"

हमने बेसलाइन में इससे कैसे निपटा?

उत्तर: ɯǝɓ : n̯ɔ ¡और

चूँकि 27 से अधिक प्रकार के कार्य नहीं होते हैं, इसलिए प्रशिक्षण डेटा पर हमने एक json parser बनाया, जो संपूर्ण कार्य पाठ से सटीक शब्दों का चयन करता है - क्या और कैसे करें - और इन योगों पर n-ग्राम शब्दों और SVM पर सरलतम रैखिक वर्गीकरणकर्ता का निर्माण किया जाता है। (सपोर्ट वेक्टर मशीन), जिसने नौकरी की संख्या की भविष्यवाणी की थी, और सिस्टम को नौकरी और प्रतिक्रिया स्वरूप प्राप्त हुआ: https://github.com/sberbank-ai/ai-journey-2019 ।

संभावित रूप से, मैं समाधान के इस हिस्से में ध्यान-तंत्र या कुछ इसी तरह लागू करना चाहता हूं ताकि योगों और प्रश्नों के प्रकारों के बीच संबंध का पता लगाया जा सके। हमें उम्मीद है कि प्रतिभागियों में से एक इस तरह के समाधान को लागू करता है।

निर्णय का मूल्यांकन

किसी व्यक्ति के साथ तुलना के लिए इस तरह के समाधान का आकलन करने में, सामान्य वर्गीकरण मैट्रिक्स (सटीकता, एफ-माप।) का उपयोग नहीं किया जाता है, लेकिन 100-पॉइंट रेटिंग स्केल लिया जाता है, जहां सही ढंग से पूर्ण किए गए कार्यों के लिए अंक संक्षेप में प्रस्तुत किए जाते हैं।

समस्या समाधान स्वचालित रूप से जांचे जाते हैं, और अंतिम निबंध के साथ क्या करना है? मास्को और नोवोसिबिर्स्क के शिक्षक और कार्यप्रणाली प्रतियोगिता के ढांचे के भीतर निबंधों के मूल्यांकन में भाग लेते हैं। वे स्वतंत्र मानदंड के अनुसार एकत्र किए गए निबंधों का मूल्यांकन करते हैं, जिसमें वर्तनी, विराम चिह्न, पाठ की तार्किक सुसंगतता, साहित्यिक तर्कों की उपस्थिति और लेखक की स्थिति शामिल है। सामान्य तौर पर, सब कुछ स्कूल में जैसा होता है।

बेसलाइन डिजाइन

जोंस पार्सर और प्रश्नों के क्लासिफायर लागू करने के बाद, हमें विशिष्ट प्रकार के कार्य प्राप्त हुए। वे इस सूची में आते हैं:

• वर्तनी की जांच करें, पत्र डालें, सही त्रुटियां (एच और एचएच, नॉट और एनआई, एक साथ - अलग से, वैकल्पिक के साथ जड़ें, आदि);
  
• संदर्भ में एक बहु-मूल्यवान शब्द (संदर्भ में उत्तर का विकल्प) का अर्थ;
  
• पाठ में मुख्य विचारों को उजागर करें (वाक्यों की सूची से चयन)
  
• विराम चिह्न लगाएं (उन स्थानों का चयन करें जहां अल्पविराम, डैश आदि आवश्यक हैं);
  
• शब्दों पर ज़ोर देना (गलती खोजना);
  
• उदाहरणों में व्याकरण संबंधी त्रुटियां खोजें और उनके प्रकार (सहसंबंधी) को इंगित करें;
  
• पाठ के भागों के बीच गठजोड़ लिखना (पाठ के तर्क के आधार पर);
  
• पाठ पर एक निबंध लिखना (समस्या को ढूंढें और इसे प्रकट करें)।
  

आगे पियरिंग की विधि का उपयोग करते हुए, हमने सभी प्रकार के कार्यों को अच्छी तरह से ज्ञात टेक्स्ट प्रोसेसिंग विधियों में बदल दिया।

एंबेडर्स (word2vec, fasttext, GloVe) का उपयोग व्यक्तिगत शब्दों, वाक्यों और ग्रंथों के वेक्टर अभ्यावेदन प्राप्त करने के लिए किया जाता है। हम PERTorch पर BERT का उपयोग करते हैं - एक सार्वभौमिक ट्रांसफार्मर, जिसका उपयोग अक्सर (Google से) शब्दों के गुणों को प्राप्त करने के लिए किया जाता है। ऐसा ट्रांसफार्मर उन कार्यों पर एक उच्च परिणाम देता है जहां आपको बहु-मूल्यवान शब्द के अर्थ को समझने की आवश्यकता है, पाठ में सबसे सार्थक वाक्यों को उजागर करें, आदि। - कोसाइन माप द्वारा निकटतम एंबेडिंग के विकल्प के लिए कार्यों को कम किया जाता है।

भाषा मॉडल अगले शब्द की संभावना, वाक्य गुणन के बारे में उपयोगी जानकारी प्रदान कर सकते हैं। परीक्षा के साथ संयोजन में, उन्हें भाषण त्रुटियों का पता लगाने और सही करने के लिए इस्तेमाल किया जा सकता है (समान आवृत्ति वाले गैर-आवृत्ति टुकड़े को प्रतिस्थापित करें) और ग्रंथों को उत्पन्न करने के लिए। बेसलाइन में, हमने रूसी भाषा के राष्ट्रीय कोष के एन-ग्राम के आवृत्ति आधार का उपयोग किया, इसमें से मानक शब्द का चयन किया और अनुपस्थित को त्रुटि के लिए उम्मीदवार माना गया। हम गुम शब्दों को शब्दों में बदलने के लिए भी इस आधार का उपयोग करते हैं। निबंध ग्रंथों को उत्पन्न करने के लिए, हमने "सार्वभौमिक मॉडल" - ULMFit भी लिया। यह fast.ai का कई ड्रॉपआउट LSTM है, जो सीक्वेंस जेनरेट करने के लिए बहुत अच्छा है। हमने उसे साहित्य पर स्कूल निबंधों का प्रशिक्षण दिया, जिसे हमने ऑनलाइन एकत्र किया। यह निकले, हालांकि व्यर्थ, लेकिन लगभग त्रुटियों के बिना।

भाषण के भाग, मामलों, संख्या, लिंग, शब्द का सामान्य रूप और शब्दों के बीच के कनेक्शन को निर्धारित करने के लिए, हमने pymorphy2 और UDPipe का उपयोग किया।

वर्गीकरण के लिए विराम चिह्नों को कम किया जा सकता है - एक विशिष्ट स्थान पर अल्पविराम लगाओ या नहीं, किस नियम से डैश सेट किया गया है, आदि।

हमने निम्नलिखित प्रकार के आर्किटेक्चर के साथ दो प्रकार के कार्यों को हल किया है:

सियामी न्यूरल नेटवर्क को इनपुट पर वाक्यों की एक जोड़ी के दो बीईआरटी एम्बेडिंग प्राप्त होते हैं, यह तय करता है कि डैश, कॉलन या एक नियम के अनुसार सेट नहीं हैं।

कैटबॉस्ट क्लासिफायरियर को लंबाई 6 (" NOUN VERB NOUN ADJ NOUN NOUN ") के भाषण के एक भाग के टैग के लिए एक इनपुट विंडो मिलती है और बीच में अल्पविराम लगाने का फैसला करती है या नहीं।

छात्रों को याद रखने और सीखने की आवश्यकता है, हमने खुले स्रोतों से एकत्र किया है:

1 ऑर्थोएपिक शब्दकोश (तनाव) - स्कूल के पाठ्यक्रम में के रूप में।

2 ट्रॉप्स का शब्दकोश - साहित्यिक का अर्थ है: साहित्य पर साइटों से एकत्र किए गए समानार्थक शब्द, विलोम, शब्दकोष, वाक्यांशगत इकाइयां आदि।

3 साहित्य पर स्कूल निबंधों का संग्रह - जेनेरेटिव मॉडल की आगे की शिक्षा के लिए।

पाठ पीढ़ी, संक्षेप, विषयगत मॉडलिंग। यहां विचार की गुंजाइश बहुत अच्छी थी। अंत में, हमने पहले ही उल्लेख किया है, पाठ उत्पन्न करने के लिए ULMFit। लेकिन निबंध पाठ में होना चाहिए और कई मानदंडों को पूरा करना चाहिए। यदि हम मानते हैं कि हमें ULMFit के कारण पाठ की वर्तनी और सुसंगतता मिलती है, तो कम से कम लेखक की स्थिति और हमारे काम की विषयगत सुसंगतता और यह पाठ बना रहता है।

हमने निम्न प्रकार से इन सबटुकस को हल किया:

• एलडीए + ने पहला वाक्यांश तैयार किया । स्कूल निबंधों के एकत्र किए गए संस्करणों को n-ग्राम शब्द के आधार पर 30 विषयों में वर्गीकृत किया गया है, जिनकी हमने व्याख्या की है। प्रत्येक विषय संबंधित विषय पर एक या दो लेखकों के काम से संबंधित था - रूस के भाग्य के बारे में काम करता है, लोगों की स्थिति के बारे में, दोस्तोवस्की के कार्यों के बारे में, ए। अख्तमातोवा के काम के बारे में और 20 वीं शताब्दी की रूसी संस्कृति के लिए इसका महत्व आदि।
  
• TextRank + टेम्प्लेट । सारांश एल्गोरिथ्म दिए गए पाठ से 2-3 सबसे सार्थक वाक्यों को बाहर निकालता है, और इन वाक्यों को लेखक की स्थिति के साथ उद्धरण तैयार करने वाले टेम्पलेट्स के एक सेट में डाला जाता है।
  

अंतिम पाइपलाइन: विषयगत मॉडल पाठ के विषय को निर्धारित करता है और जेनेरिक मॉडल को पहला वाक्यांश देता है। जेनेरिक मॉडल पहला वाक्य प्राप्त करता है और रचना के अंत तक इसे जारी रखता है। फिर संक्षेपण मॉडल इस पाठ में एक दूसरा पैराग्राफ सम्मिलित करता है, जो लेखक की स्थिति को दर्शाता है।

यहां एक विशिष्ट रचना का एक उदाहरण है जो हमने ऐसे मॉडल पर प्राप्त किया है (टेम्पलेट इटैलिक में हैं, विषयगत मॉडल से पहला वाक्यांश बोल्ड में है)।

युद्ध में आदमी का भाग्य, अपनी मातृभूमि का प्यार, अपनी मां के लिए उसका प्यार टॉल्स्टॉय के लिए दिलचस्पी का विषय है , जो उन्हें छोड़ गए थे। और दो राजकुमार आंद्रेई टॉल्स्टॉय - पियरे और आंद्रेई - युद्ध से गुजरे। दुष्ट मानवीय संबंध उनके पाठ्यक्रम में नहीं हैं, लेकिन जीवन में, नागरिक और नैतिक मानकों में हैं। स्वतंत्रता इस तथ्य में निहित है कि वे एक दयालु और भयानक व्यक्ति हैं, खुलेपन और विश्वासघात की भावना। वे स्वतंत्रता हैं - ईश्वर से - नेपोलियन से, उसके लिए - नेपोलियन। यह उन्हें अच्छाई और बुराई देता है, इसलिए महान नायक वही लोगों के प्रतिनिधि बनते हैं।

लेखक इस समस्या का उदाहरण वाक्य के उदाहरण के साथ देता है "जब मैं कहता हूं कि किसी व्यक्ति को उसके विवेक के खिलाफ नहीं जाना चाहिए, उसके साथ कोई समझौता नहीं करना चाहिए, मेरा यह मतलब बिल्कुल नहीं है कि कोई व्यक्ति गलती नहीं कर सकता है या नहीं करना चाहिए।" और "मैंने उसे उत्तर दिया कि यह न केवल संभव है, बल्कि महान लोगों की गलतियों के बारे में भी लिखना आवश्यक है, क्योंकि एक आदमी महान है, क्योंकि वह किसी भी चीज़ में गलत नहीं था।" मेरी राय में, पाठक वाक्य में लेखक की स्थिति का अवलोकन करता है: "लेकिन भले ही आप अपने युवाओं के सम्मान को संरक्षित करने में विफल रहे हों, आप वयस्कता में इसे हासिल कर सकते हैं, इसे पा सकते हैं, खुद को तोड़ सकते हैं, गलतियों को स्वीकार करने का साहस और साहस पा सकते हैं।"

युद्ध व्यक्तित्व का वह हिस्सा है जो एक व्यक्ति को किसी अन्य सार्वभौमिक सेवा की संभावना प्रदान करना चाहिए। भविष्य मुक्ति, स्वतंत्रता की इच्छा, मातृभूमि के लिए एक उत्साही प्रेम है। यह पितृभूमि की संभावना में एक विश्वास है। हम कह सकते हैं कि, ईसाई धर्म के बावजूद, पियरे इतिहास के पाठ्यक्रम को बाधित नहीं कर सकते, लेकिन उन्होंने वास्तव में ऐसा किया। 1812 टॉल्स्टॉय के युद्ध से पता चलता है कि एक साधारण लोक वातावरण और लोगों के साथ नए नेपोलियन का संघर्ष कैसा है।

हम पूरे रूस के साथ सामना कर रहे हैं, और नोवगोरोड रूस का हिस्सा है। उनके पास मुख्य विचार यह है कि प्रकृति के साथ रूसी लोगों का संबंध है। टॉल्स्टॉय का उपन्यास "वॉर एंड पीस" एक ऐसा काम है जिसमें सामाजिक समस्याओं को निकटता से जोड़ा जाता है, जीवन में इस तथ्य को समाहित किया जाता है कि आवाज़, अच्छाई और बुराई - यह सब टॉल्सटॉय नहीं छिपाते हैं। दोस्तोवस्की ने लिखा कि टॉल्स्टॉय के लिए यह एक राजनीतिक स्थिति है। लेखक उपन्यास में अपना स्थान रखता है: यहाँ लेखक उन लोगों को दिखाता है जो पितृभूमि की दीवारों के पीछे हैं। टॉल्स्टॉय इसका एक उदाहरण सेट करते हैं और पहले और मुख्य चरित्र का एक उदाहरण देते हैं।

परिणामस्वरूप आधारभूत वास्तुकला

अंतिम समाधान में निम्नलिखित तर्क हैं:

1. आने वाली नौकरी क्लासिफायर द्वारा टाइप की जाती है - इसे 1 से 27 तक का टाइप मिलता है।
2. 27 कार्यों में से प्रत्येक का अपना एक सॉल्वर है - पार्सिंग टास्क फॉर्मूलेशन वाली एक स्क्रिप्ट, जो उपलब्ध एमएल-मॉडल और नॉलेज बेस के पूल से आवश्यक जानकारी प्राप्त करता है और सही प्रारूप में उत्तर जारी करता है।

सभी सॉल्वरों के लिए मॉडल और ज्ञान का आधार आम है, इसे एक बार मेमोरी में लोड किया जाता है।

परिणाम क्या है?

बेसलाइन (अब तक निबंध सत्यापन के बिना) 100 में से 27 अंक देती है - 60 से अधिक टीमों ने मूल समाधान का लाभ उठाया। अंतिम परीक्षा के मानदंड के अनुसार, प्रमाण पत्र प्राप्त करने के लिए, आपको 24 अंक प्राप्त करने की आवश्यकता है, लेकिन विश्वविद्यालय में दस्तावेज जमा करने के लिए आपको न्यूनतम 36 अंक चाहिए। इस निशान ने अब 2 सर्वश्रेष्ठ टीमों को पारित कर दिया है।

कई प्रतिभागी हमारे समाधान का उपयोग एक बुनियादी, सुधार और परिष्कृत दृष्टिकोण के रूप में करते हैं। यदि आप कृत्रिम बुद्धि में रुचि रखते हैं और इस तरह के एक दिलचस्प काम में अपना हाथ आजमाने के लिए तैयार हैं, तो आपके पास कुछ और सप्ताह हैं! और हम खुद मॉडल में सुधार करना जारी रखते हैं, उपनाम CDS_team के तहत प्रतियोगिता से बाहर खिलाते हैं

प्रतियोगिता का फाइनल 8 और 9 नवंबर को मास्को में एआई यात्रा सम्मेलन में आयोजित किया जाएगा। प्रतियोगिता और सम्मेलन के लिए यहां पंजीकरण करें ।