भाषाई सामग्री पर एमएल-सिस्टम की प्रतियोगिता। हमने रिक्त स्थान भरना कैसे सीखा

मास्को में हर साल, संवाद सम्मेलन आयोजित किया जाता है, जिसमें भाषाविद् और डेटा विश्लेषण विशेषज्ञ भाग लेते हैं। वे चर्चा करते हैं कि प्राकृतिक भाषा क्या है, इसे समझने और संसाधित करने के लिए मशीन को कैसे सिखाना है। सम्मेलन ने परंपरागत रूप से संवाद (ट्रैक) संवाद मूल्यांकन आयोजित किया। वे बड़ी कंपनियों के प्रतिनिधियों द्वारा भाग लिया जा सकता है जो प्राकृतिक भाषा प्रसंस्करण (प्राकृतिक भाषा प्रसंस्करण, एनएलपी), साथ ही साथ व्यक्तिगत शोधकर्ताओं के क्षेत्र में समाधान बनाते हैं। ऐसा लग सकता है कि यदि आप एक सरल छात्र हैं, तो क्या आप उन प्रणालियों के साथ प्रतिस्पर्धा करते हैं जो बड़ी कंपनियों के बड़े विशेषज्ञ वर्षों से बना रहे हैं। डायलॉग इवैल्यूएशन - ठीक यही स्थिति तब होती है जब अंतिम स्टैंडिंग में एक साधारण छात्र किसी प्रसिद्ध कंपनी से अधिक हो सकता है।

इस वर्ष यह 9 वीं पंक्ति होगी जब संवाद मूल्यांकन का आयोजन किया जाएगा। हर साल प्रतियोगिताओं की संख्या अलग-अलग होती है। एनएलपी कार्य जैसे कि सेंटीमेंट एनालिसिस, वर्ड सेंस इंडक्शन, ऑटोमैटिक स्पेलिंग करेक्शन, नेम एंटिटी रिकग्निशन और अन्य पहले से ही ट्रैक के लिए विषय बन गए हैं।

इस साल, आयोजकों के चार समूहों ने इस तरह के ट्रैक तैयार किए:

• समाचार लेखों के लिए सुर्खियों का सृजन।
• अनाफोर्मा और कोर का संकल्प।
• कम-संसाधन भाषाओं की सामग्री पर रूपात्मक विश्लेषण।
• दीर्घवृत्त (गैपिंग) के प्रकारों में से एक का स्वचालित विश्लेषण।

आज हम उनमें से अंतिम के बारे में बात करेंगे: एक दीर्घवृत्त क्या है और कार को पाठ में इसे कैसे बहाल करना है, यह सिखाने के लिए, हमने इस समस्या को हल करने के लिए एक नई इमारत कैसे बनाई, प्रतियोगिता कैसे आयोजित की गई और कौन से परिणाम प्रतिभागियों को प्राप्त करने में सक्षम थे।

AGRR-2019 (रूसी के लिए स्वचालित गैपिंग रिज़ॉल्यूशन)

2018 के पतन में, हमने एक दीर्घवृत्त से संबंधित एक शोध कार्य का सामना किया - एक पाठ में शब्दों की एक श्रृंखला का जानबूझकर चूक जो संदर्भ से बहाल किया जा सकता है। पाठ में इस तरह के अंतर को स्वचालित रूप से कैसे ढूंढें और इसे सही तरीके से भरें? देशी स्पीकर के लिए यह आसान है, लेकिन इस कार को सिखाना आसान नहीं है। बहुत जल्दी यह स्पष्ट हो गया कि यह प्रतियोगिता के लिए अच्छी सामग्री है, और हम व्यापार के लिए नीचे उतर गए।

एक नए विषय पर प्रतियोगिताओं के संगठन की अपनी विशेषताएं हैं, और हमारे लिए वे बड़े पैमाने पर प्लसस लगते हैं। मुख्य चीजों में से एक है कॉर्पस का निर्माण (मार्कअप के साथ कई पाठ, जिन पर आप सीख सकते हैं)। यह कैसा दिखना चाहिए और कितना होना चाहिए? कई कार्यों के लिए, डेटा प्रस्तुत करने के लिए मानक हैं जिन पर निर्माण करना है। उदाहरण के लिए, नामित संस्थाओं की पहचान के कार्य के लिए , IO / BIO / IOBES मार्कअप योजनाओं को विकसित किया गया है, CONLL प्रारूप में वाक्यविन्यास और रूपात्मक पार्स के कार्यों के लिए पारंपरिक रूप से उपयोग किया जाता है, कुछ भी आविष्कार करने की आवश्यकता नहीं है, लेकिन दिशानिर्देशों का कड़ाई से पालन किया जाना चाहिए।

हमारे मामले में, लाशों को इकट्ठा करना और कार्य को तैयार करना हमारे ऊपर था।

यहाँ ऐसा कार्य है ...

यहाँ हमें अनिवार्य रूप से एक लोकप्रिय भाषाई परिचय देना होगा कि दीर्घवृत्त सामान्य रूप में क्या होता है और इसके एक प्रकार के रूप में गैपिंग होती है।

भाषा के बारे में आपके जो भी विचार हैं, यह तर्क करना मुश्किल है कि अभिव्यक्ति का सतह स्तर (पाठ या भाषण) केवल एक ही नहीं है। उक्त वाक्यांश हिमखंड का सिरा है। हिमखंड में ही एक व्यावहारिक मूल्यांकन, एक वाक्यात्मक संरचना का निर्माण, लेक्सिकल सामग्री का चयन और इसी तरह शामिल हैं। एलिप्सिस एक ऐसी घटना है जो सतह के स्तर को गहराई से गहराई से जोड़ती है। यह डुप्लिकेट सिंटैक्स तत्वों की चूक है। यदि हम एक वाक्य की वाक्य रचना को पेड़ के रूप में प्रस्तुत करते हैं और इस पेड़ में एक ही उपप्रकार का चयन किया जा सकता है, तो वाक्य के प्राकृतिक होने के लिए अक्सर (लेकिन हमेशा नहीं), डुप्लिकेट तत्वों को हटा दिया जाता है। इस तरह के निष्कासन को एक दीर्घवृत्त (उदाहरण 1) कहा जाता है।

(1) उन्होंने मुझे वापस नहीं बुलाया, और मुझे समझ नहीं आया कि उन्होंने मुझे वापस क्यों नहीं बुलाया ।

दीर्घवृत्त द्वारा प्राप्त अंतराल को भाषा के संदर्भ से स्पष्ट रूप से बहाल किया जा सकता है। दूसरे (2) के साथ पहले उदाहरण की तुलना करें, जहां एक पास है, लेकिन वास्तव में क्या गायब है, यह स्पष्ट नहीं है। यह मामला एक दीर्घवृत्त नहीं है।

(2)


गैपिंग इलिप्सिस की आवृत्ति प्रकारों में से एक है। उदाहरण (3) पर विचार करें और समझें कि यह कैसे काम करता है।

(३) मैंने उसे एक इतालवी के लिए, और उसे एक स्वेड के लिए गलत समझा।

सभी उदाहरणों में दो से अधिक वाक्य (खंड) हैं, वे आपस में रचे गए हैं। पहले खंड में एक क्रिया है (भाषाविदों को "विधेय" कहने की अधिक संभावना है) और इसके प्रतिभागियों ने इसे स्वीकार किया: मैं , उसका और इतालवी । दूसरे खंड में कोई व्यक्त क्रिया नहीं है, केवल इसके "अवशेष" (या अवशेष) हैं और स्वेड के लिए जो वाक्य-संबंधी नहीं हैं, लेकिन हम समझते हैं कि पास को कैसे बहाल किया जाता है।

पास को पुनर्स्थापित करने के लिए, हम पहले क्लॉज़ की ओर मुड़ते हैं और उससे पूरी संरचना की प्रतिलिपि बनाते हैं (उदाहरण 4)। हम केवल उन हिस्सों को प्रतिस्थापित करते हैं जिनके लिए अपूर्ण खंड में "समानांतर" अवशेष हैं। हमने विधेय की प्रतिलिपि बनाई, हम इसे इसके साथ बदलते हैं, इतालवी के लिए हम इसे स्वेड के अवशेष के साथ बदलते हैं। मेरे लिए, कोई समानांतर अवशेष नहीं था, जिसका अर्थ है कि हम इसे प्रतिस्थापन के बिना कॉपी करते हैं।

(४) मैंने उसे इटली के लिए गलत समझा, और मैंने उसे एक स्वेड के लिए गलत समझा ।

ऐसा लगता है कि अंतर को बहाल करने के लिए, यह निर्धारित करने के लिए हमारे लिए पर्याप्त है कि क्या इस वाक्य में एक गैपिंग है, अधूरा खंड और इसके साथ जुड़े पूरे खंड (जिसमें से बहाली के लिए सामग्री ली गई है) को ढूंढें, और फिर समझें कि "अवशेष" (अवशेष) अपूर्ण खंड और हैं वे पूर्ण में क्या अनुरूप हैं। ऐसा लगता है कि ये स्थितियां अंतर को प्रभावी ढंग से भरने के लिए पर्याप्त हैं। इस प्रकार, हम प्रक्रिया को पढ़ने या सुनने वाले व्यक्ति के सिर में नकल करने की कोशिश करते हैं जिसमें चूक हो सकती है।

तो, इसकी आवश्यकता क्यों है?

यह स्पष्ट है कि ऐसे व्यक्ति के लिए जो पहले एलिप्सिस और इसके साथ जुड़ी प्रसंस्करण कठिनाइयों के बारे में सुनता है, एक वैध सवाल उठ सकता है, "क्यों?" संदेहवादी भाषाई विज्ञान के पिताओं को यह समझाने के लिए आमंत्रित करना चाहेंगे कि यदि लागू समस्या का समाधान ऐसी सामग्री प्रदान करता है जो सैद्धांतिक अनुसंधान में उपयोगी हो सकती है, तो यह पहले से ही इस तरह की गतिविधि के उद्देश्य के बारे में सवाल का पर्याप्त जवाब है।

सिद्धांतकार लगभग 50 वर्षों से विभिन्न भाषाओं में दीर्घवृत्त का अध्ययन कर रहे हैं, सीमाओं का वर्णन करते हैं, विभिन्न भाषाओं में सामान्य पैटर्न को उजागर करते हैं। इसी समय, हम कुछ सौ उदाहरणों के साथ किसी भी प्रकार के दीर्घवृत्त को दर्शाने वाले कॉर्पस के अस्तित्व से अवगत नहीं हैं। यह आंशिक रूप से घटना की दुर्लभता के कारण होता है (उदाहरण के लिए, हमारे डेटा पर, 10 हजार में से 5 से अधिक वाक्यों में ग्रेडिंग पाया जाता है)। तो इस तरह के वाहकों का निर्माण पहले से ही एक महत्वपूर्ण परिणाम है।

एप्लिकेशन सिस्टम में जो टेक्स्ट डेटा के साथ काम करते हैं, घटना की दुर्लभता आपको इसे अनदेखा करने की अनुमति देती है। लापता अंतराल को बहाल करने के लिए सिंटैक्टिक पार्सर की अक्षमता वास्तव में कई त्रुटियों को नहीं लाती है। लेकिन दुर्लभ घटनाओं से, एक व्यापक और प्रेरक भाषाई परिधि बनती है। ऐसा लगता है कि अपने आप में इस तरह की समस्या को हल करने का अनुभव उन लोगों के लिए दिलचस्पी का होना चाहिए जो सिस्टम बनाना चाहते हैं जो न केवल सामान्य शब्दावली के साथ सरल, लघु, स्वच्छ ग्रंथों पर काम करते हैं, अर्थात्, वैक्यूम में गोलाकार ग्रंथों पर जो व्यावहारिक रूप से प्रकृति में नहीं होते हैं।

कुछ पार्सल इलिप्सिस का पता लगाने और हल करने के लिए एक प्रभावी प्रणाली का दावा करते हैं। लेकिन आंतरिक पार्सर एबीबीवाई में पास को बहाल करने के लिए जिम्मेदार एक मॉड्यूल है, और यह मैन्युअल रूप से लिखित नियमों पर आधारित है। पार्सर की इस क्षमता के लिए धन्यवाद, हम प्रतियोगिता के लिए एक बड़ी संस्था बनाने में सक्षम थे। मूल पार्सर के लिए संभावित लाभ एक धीमी गति से चलने वाले मॉड्यूल को बदलना है। साथ ही, मामले पर काम करते समय, हमने वर्तमान प्रणाली की त्रुटियों का विस्तृत विश्लेषण किया।

हमने शरीर कैसे बनाया

हमारी इमारत मुख्य रूप से स्वचालित प्रणालियों के प्रशिक्षण के लिए अभिप्रेत है, जिसका अर्थ है कि यह अत्यंत महत्वपूर्ण है कि यह ज्वालामुखी और विविध हो। इसके द्वारा निर्देशित, हमने डेटा संग्रह का काम निम्नानुसार किया है। वाहिनी के लिए, हमने विभिन्न शैलियों के ग्रंथों का चयन किया: तकनीकी दस्तावेज और पेटेंट से लेकर समाचार और सोशल मीडिया के पोस्ट तक। उन सभी को एबीबीवाई पार्सर द्वारा चिह्नित किया गया था। एक महीने के भीतर, हमने भाषाविदों-लेखकों के बीच डेटा वितरित किया। मार्करों को मार्कअप में बदलने के बिना, पैमाने पर मूल्यांकन करने के लिए आमंत्रित किया गया था:

0 - वाक्य में कोई मैपिंग नहीं है, मार्कअप अप्रासंगिक है।
1 - एक मैपिंग है, और इसका मार्कअप सही है।
2 - एक गैपिंग है, लेकिन मार्कअप के साथ कुछ गलत है।
3 - एक मुश्किल मामला है, यह एक मानचित्रण है?

परिणामस्वरूप, प्रत्येक समूह काम में आया। श्रेणी 1 के उदाहरण हमारे डेटासेट के सकारात्मक वर्ग में गिर गए। हम मूल रूप से समय बचाने के लिए श्रेणियों 2 और 3 से उदाहरणों को मैन्युअल रूप से फिर से नमूना करना चाहते हैं, लेकिन ये उदाहरण हमारे परिणामी कोष के मूल्यांकन के लिए बाद में हमारे लिए उपयोगी थे। उनमें से कोई यह जज कर सकता है कि सिस्टम के कौन से मामले लगातार गलत तरीके से चिह्नित होते हैं, जिसका अर्थ है कि वे हमारे कोर में नहीं आते। और अंत में, श्रेणी 0 के लिए मार्करों द्वारा निर्दिष्ट मामले के उदाहरणों में, हमने सिस्टम को "दूसरों की गलतियों से सीखने" का अवसर दिया, अर्थात, मूल प्रणाली के व्यवहार का अनुकरण न करें, बल्कि इससे बेहतर काम करें।

प्रत्येक उदाहरण का मूल्यांकन दो मार्करों द्वारा किया गया था। उसके बाद, आधे से अधिक प्रस्ताव स्रोत डेटा से वाहिनी में आ गए। उदाहरणों के पूरे सकारात्मक वर्ग और नकारात्मक के हिस्से उनमें से एक हैं। हमने नकारात्मक वर्ग को दो बार सकारात्मक बनाने का फैसला किया ताकि एक तरफ, वर्ग मात्रा में तुलनीय हो, और दूसरी तरफ, भाषा में मौजूद नकारात्मक वर्ग का पूर्वानुक्रम संरक्षित हो।

इस अनुपात का अनुपालन करने के लिए, हमें श्रेणी 0 के वर्णित उदाहरणों के अलावा, मामले में और नकारात्मक उदाहरण जोड़ना होगा। हम श्रेणी 0 का एक उदाहरण (5) देते हैं, जो न केवल कार, बल्कि व्यक्ति को भी भ्रमित कर सकता है।

(५) लेकिन तब तक जैक को सिंडी पेज से प्यार हो गया था, अब मिसेज जैक स्वेतेक।

दूसरे खंड में, वह प्यार में नहीं आ रही है , क्योंकि मेरा मतलब है कि अब सिंडी पेज श्रीमती जैक स्वेतेक बन गई है क्योंकि उसने उससे शादी की थी।

सामान्य तौर पर, गैपिंग के रूप में इस तरह की अपेक्षाकृत दुर्लभ वाक्यात्मक घटना के लिए, एक नकारात्मक उदाहरण भाषा का लगभग कोई यादृच्छिक वाक्य है, क्योंकि संभावना है कि यादृच्छिक वाक्य में एक छोटा सा गैपिंग है। हालांकि, इस तरह के नकारात्मक उदाहरणों के उपयोग से विराम चिह्नों पर अंकुश लगाया जा सकता है। हमारे मामले में, नकारात्मक वर्ग के लिए उदाहरण सरल मानदंडों के अनुसार प्राप्त किए गए थे: एक क्रिया की उपस्थिति, एक अल्पविराम या डैश की उपस्थिति, न्यूनतम वाक्य लंबाई 6 टोकन से कम नहीं है।

प्रतियोगिता के लिए, हमने प्रशिक्षण भवन देव भाग (1: 5 के अनुपात में) से चुना, जिसे प्रतिभागियों को अपने सिस्टम को कॉन्फ़िगर करने के लिए उपयोग करने के लिए आमंत्रित किया गया था। सिस्टम के अंतिम संस्करणों को संयुक्त ट्रेन और देव भागों पर प्रशिक्षित किया गया था। हमने मैन्युअल रूप से परीक्षण मामले (परीक्षण) को अपने आप पर लेबल किया है, मात्रा के संदर्भ में यह ट्रेन + देव का 10 वां हिस्सा है। यहाँ कक्षा उदाहरणों की सही संख्या है:


मैन्युअल रूप से सत्यापित प्रशिक्षण डेटा के अलावा, हमने स्रोत प्रणाली से प्राप्त एक कच्ची मार्कअप फ़ाइल को जोड़ा। इसमें 100 हजार से अधिक उदाहरण हैं, और प्रतिभागी वैकल्पिक रूप से इन आंकड़ों का उपयोग प्रशिक्षण नमूने के पूरक के लिए कर सकते हैं। आगे देखते हुए, हम कहते हैं कि केवल एक प्रतिभागी को पता चला कि गुणवत्ता खोने के बिना गंदे डेटा का उपयोग करके प्रशिक्षण भवन में उल्लेखनीय वृद्धि कैसे की जाए।

मार्कअप प्रारूप

हमने जानबूझकर तृतीय-पक्ष पार्सर का उपयोग करने से इनकार कर दिया और एक मार्कअप विकसित किया, जिसमें हमारे लिए रुचि के सभी तत्व रैखिक रूप से पाठ लाइन में चिह्नित हैं। हमने दो तरह के मार्कअप का इस्तेमाल किया। पहला, मानव-पठनीय, मार्कअप के साथ काम करने के लिए डिज़ाइन किया गया है, और परिणामस्वरूप सिस्टम की त्रुटियों का विश्लेषण करना सुविधाजनक है। इस पद्धति के साथ, सभी गैपिंग तत्वों को वाक्य के अंदर वर्ग कोष्ठक के साथ चिह्नित किया जाता है। ब्रैकेट की प्रत्येक जोड़ी को संबंधित तत्व के नाम से चिह्नित किया गया है। हमने निम्नलिखित संकेतन का उपयोग किया:



हम कोष्ठक के साथ गैपिंग के साथ वाक्यों का उदाहरण देते हैं।







ब्रैकेट अंकन सामग्री विश्लेषण के लिए उपयुक्त है। मामले में, डेटा को एक अलग प्रारूप में संग्रहीत किया जाता है, जिसे यदि वांछित है, तो आसानी से ब्रैकेट में परिवर्तित किया जा सकता है। एक पंक्ति एक वाक्य से मेल खाती है। कॉलम वाक्य में गैपिंग की उपस्थिति का संकेत देते हैं, और इसके कॉलम में प्रत्येक संभावित लेबल के लिए तत्व के अनुरूप खंड के शुरुआत और अंत में दिए गए हैं। यह कैसे ऑफ़सेट मार्कअप दिखता है, ब्रैकेट मार्कअप इन () के अनुरूप है।

प्रतिभागियों के लिए कार्य

AGRR-2019 प्रतिभागी तीन समस्याओं में से किसी को भी हल कर सकते हैं:

• बाइनरी वर्गीकरण यह निर्धारित करना आवश्यक है कि वाक्य में कोई गैपिंग है या नहीं।
• गैपिंग की अनुमति। पास (वी) की स्थिति और क्रिया नियंत्रक (सीवी) की स्थिति को बहाल करना आवश्यक है।
• पूर्ण मार्कअप। आपको गैपिंग के सभी तत्वों के लिए ऑफसेट को परिभाषित करने की आवश्यकता है।

प्रत्येक अगले कार्य को किसी तरह पिछले एक को हल करना होगा। यह स्पष्ट है कि कोई भी मार्कअप केवल उन वाक्यों में संभव है, जिन पर बाइनरी वर्गीकरण एक सकारात्मक वर्ग दिखाता है (एक मैपिंग है), और पूर्ण मार्कअप में लापता और नियंत्रित विधेय की सीमाओं को खोजना भी शामिल है।

मैट्रिक्स

बाइनरी वर्गीकरण समस्या के लिए, हमने मानक मैट्रिक्स का उपयोग किया: सटीकता और पूर्णता, और प्रतिभागियों के परिणामों को एफ-माप द्वारा रैंक किया गया था।

गैपिंग और पूर्ण मार्कअप को हल करने के कार्यों के लिए, हमने एक प्रतीकात्मक एफ-माप का उपयोग करने का निर्णय लिया, क्योंकि स्रोत ग्रंथों को टोकन नहीं दिया गया था और हम नहीं चाहते थे कि प्रतिभागियों को परिणामों को प्रभावित करने के लिए टोकन का उपयोग किया जाए। सच-नकारात्मक उदाहरणों ने प्रतीकात्मक एफ-माप में योगदान नहीं दिया, प्रत्येक मार्कअप तत्व के लिए अपने स्वयं के एफ-माप पर विचार किया गया था, अंतिम परिणाम पूरे शरीर पर मैक्रो-औसत द्वारा प्राप्त किया गया था। मीट्रिक की इस तरह की गणना के लिए, झूठे-सकारात्मक मामलों में काफी जुर्माना लगाया गया था, जो महत्वपूर्ण है जब नकारात्मक लोगों की तुलना में वास्तविक डेटा में कई बार कम सकारात्मक उदाहरण होते हैं।

प्रतियोगिता का कोर्स

भवन की विधानसभा के समानांतर, हमने प्रतियोगिता में भाग लेने के लिए आवेदन स्वीकार किए। नतीजतन, हमने 40 से अधिक प्रतिभागियों को पंजीकृत किया। फिर हमने प्रशिक्षण भवन का निर्माण किया और प्रतियोगिता का शुभारंभ किया। प्रतिभागियों को अपने मॉडल बनाने के लिए 4 सप्ताह का समय था।

परिणामों के मूल्यांकन का चरण निम्नानुसार था: प्रतिभागियों को मार्कअप के बिना 20 हजार ऑफ़र मिले, जिसके अंदर एक परीक्षण मामला शामिल था। टीमों को अपने सिस्टम के साथ इस डेटा को चिह्नित करना था, जिसके बाद हमने परीक्षण भवन पर चिह्नों के परिणामों का मूल्यांकन किया। बड़ी मात्रा में डेटा में परीक्षण को मिलाकर हमें गारंटी दी गई है कि, हमारी सभी इच्छाओं के साथ, मामले को कुछ दिनों में मैन्युअल रूप से चिह्नित नहीं किया जा सकता है जो रन (स्वचालित अंकन) के लिए दिए गए थे।

प्रतियोगिता के परिणाम

दो आईटी कंपनियों के प्रतिनिधियों, मॉस्को स्टेट यूनिवर्सिटी के शोधकर्ताओं, मास्को इंस्टीट्यूट ऑफ फिजिक्स एंड टेक्नोलॉजी, एचएसई और आईपीपीआई आरएएस सहित नौ टीमें फाइनल में पहुंचीं।

सभी लेकिन टीमों में से एक ने सभी तीन प्रतियोगिताओं में भाग लिया। AGRR-2019 की शर्तों के तहत, सभी टीमों ने अपने निर्णयों के लिए एक कोड प्रकाशित किया। परिणामों के साथ एक सारांश तालिका हमारी रिपॉजिटरी में दी गई है , जहां आप संक्षिप्त विवरण के साथ टीमों के निर्धारित समाधान के लिंक भी पा सकते हैं।

लगभग सभी ने अच्छे परिणाम दिखाए। विजेता टीमों के निर्णयों का मूल्यांकन इस प्रकार है:



शीर्ष समाधान का एक विस्तृत विवरण जल्द ही संवाद संग्रह में प्रतिभागियों के लेखों में उपलब्ध होगा।

---

इसलिए, इस लेख में हमने इस बारे में बात की कि कैसे, एक दुर्लभ भाषाई घटना के आधार पर, एक कार्य को तैयार करने के लिए, एक वाहिनी तैयार करने और प्रतियोगिताओं का संचालन करने के लिए। एनएलपी समुदाय के लिए इस तरह के काम से लाभ भी होता है, क्योंकि प्रतियोगिताओं में विशिष्ट सामग्री पर एक-दूसरे के साथ विभिन्न आर्किटेक्चर और दृष्टिकोणों की तुलना करने में मदद मिलती है, और भाषाविदों को इसे फिर से भरने (विजेताओं के फैसले का उपयोग करके) की संभावना के साथ एक दुर्लभ घटना का मामला मिलता है। इकट्ठी वाहिनी वर्तमान में विद्यमान वाहिनी के संस्करणों की तुलना में कई गुना बड़ी है (इसके अलावा, गैपिंग के लिए, कॉर्पस आयतन केवल रूसी के लिए नहीं, बल्कि सामान्य रूप से सभी भाषाओं के लिए वाहिनी मात्रा से बड़ा परिमाण का एक क्रम है)। प्रतिभागियों के निर्णयों के सभी डेटा और लिंक हमारे जीथूब में पाए जा सकते हैं।

30 मई को गैपिंग प्रतियोगिताओं के स्वचालित विश्लेषण के लिए समर्पित संवाद के विशेष सत्र में, AGRR-2019 के परिणामों को संक्षेप में प्रस्तुत किया जाएगा। हम प्रतियोगिता के संगठन के बारे में बात करेंगे और बनाई गई इमारत की सामग्री पर ध्यान केंद्रित करेंगे, और प्रतिभागियों को चयनित वास्तुकला पेश करेंगे, जिसके साथ उन्होंने समस्या को हल किया।

एनएलपी एडवांस्ड रिसर्च ग्रुप