हम रूसी भाषा के लिए वाक्यविन्यास पार्सर का अध्ययन करते हैं

नमस्ते! मेरा नाम डेनिस किर्यानोव है, मैं Sberbank में काम करता हूं और प्राकृतिक भाषा प्रसंस्करण (एनएलपी) की समस्याओं से निपटता हूं। एक बार हमें रूसी भाषा के साथ काम करने के लिए एक सिंटैक्टिक पार्सर चुनने की आवश्यकता थी। ऐसा करने के लिए, हमने आकृति विज्ञान और टोकन के विकारों में विलंब किया, विभिन्न विकल्पों का परीक्षण किया और उनके आवेदन का मूल्यांकन किया। हम इस पोस्ट में अपना अनुभव साझा करते हैं।

चयन की तैयारी

आइए बुनियादी बातों से शुरू करें: यह कैसे काम करता है? हम पाठ लेते हैं, टोकन का संचालन करते हैं और छद्म टोकन के कुछ सरणी प्राप्त करते हैं। आगे के विश्लेषण के चरण एक पिरामिड में फिट होते हैं:



यह सब आकृति विज्ञान के साथ शुरू होता है - एक शब्द के रूप और उसके व्याकरणिक श्रेणियों (लिंग, केस, आदि) के विश्लेषण के साथ। आकृति विज्ञान वाक्य रचना पर आधारित है - शब्दों के बीच, एक शब्द की सीमाओं से परे के रिश्ते। वाक्य-रचना पर चर्चा की जाएगी, पाठ का विश्लेषण करेंगे और एक-दूसरे से शब्दों की निर्भरता की संरचना देंगे।

निर्भरता का व्याकरण और तात्कालिक घटकों का व्याकरण

पार्सिंग के दो मुख्य दृष्टिकोण हैं, जो भाषाई सिद्धांत में समान स्तर पर मौजूद हैं।



पहली पंक्ति में, वाक्य को निर्भरता व्याकरण के हिस्से के रूप में पार्स किया जाता है। यह दृष्टिकोण स्कूल में पढ़ाया जाता है। एक वाक्य में प्रत्येक शब्द किसी न किसी तरह दूसरों के साथ जुड़ा हुआ है। "साबुन" - एक विधेय जिस पर विषय "माँ" निर्भर करता है (यहाँ आश्रितों का व्याकरण स्कूल से निकलता है, जहाँ विषय पर निर्भरता निर्भर करती है)। विषय की एक निश्चित परिभाषा है "मेरा।" विधेय में एक आश्रित प्रत्यक्ष पूरक "फ्रेम" है। और "फ्रेम" का सीधा जोड़ - "गंदे" की परिभाषा।

दूसरी पंक्ति में, विश्लेषण स्वयं घटकों के व्याकरण के अनुसार है।
उनके अनुसार, वाक्य को शब्दों (वाक्यांशों) के समूहों में विभाजित किया गया है। एक समूह के भीतर के शब्द अधिक बारीकी से संबंधित हैं। शब्द "मेरे" और "माँ" अधिक निकटता से संबंधित हैं, "फ्रेम" और "गंदे" - भी। और अभी भी एक अलग "साबुन" है।

रूसी भाषा के स्वचालित पार्सिंग के लिए दूसरा दृष्टिकोण खराब रूप से लागू होता है, क्योंकि इसमें बारीकी से संबंधित शब्द (एक समूह के सदस्य) अक्सर एक पंक्ति में खड़े नहीं होते हैं। हमें उन्हें अजीब ब्रैकेट के साथ संयोजित करना होगा - एक या दो शब्दों में। इसलिए, रूसी भाषा के स्वचालित पार्सिंग में, यह निर्भरता के व्याकरण के आधार पर काम करने के लिए प्रथागत है। यह सुविधाजनक भी है क्योंकि हर कोई स्कूल में इस तरह के "ढांचे" से परिचित है।

निर्भरता का पेड़

हम पेड़ों की संरचना में निर्भरता के एक सेट का अनुवाद कर सकते हैं। शीर्ष शब्द "साबुन" है, कुछ शब्द सीधे इस पर निर्भर करते हैं, कुछ इसके नशे पर निर्भर करते हैं। मार्टिन और ज़ुराफ़स्की की पाठ्यपुस्तक से निर्भरता के पेड़ की परिभाषा इस प्रकार है:

निर्भरता पेड़ एक निर्देशित ग्राफ है जो निम्नलिखित बाधाओं को संतुष्ट करता है:

• एक एकल निर्दिष्ट रूट नोड है जिसमें कोई आवक नहीं है।
  
• रूट नोड के अपवाद के साथ, प्रत्येक शीर्ष पर एक आने वाली चाप होती है।
  
• वी में रूट नोड से प्रत्येक शीर्ष तक एक अनूठा पथ है।
  

एक शीर्ष-स्तरीय नोड है - एक विधेय। इससे आप किसी भी शब्द तक पहुंच सकते हैं। प्रत्येक शब्द दूसरे पर निर्भर करता है, लेकिन केवल एक पर। निर्भरता का पेड़ कुछ इस तरह दिखता है:



इस पेड़ में, किनारों को कुछ विशेष प्रकार के वाक्यात्मक संबंध के साथ हस्ताक्षरित किया जाता है। निर्भरता के व्याकरण में, न केवल शब्दों के बीच संबंध के तथ्य का विश्लेषण किया जाता है, बल्कि इस संबंध की प्रकृति भी। उदाहरण के लिए, "लिया गया" लगभग एक क्रिया रूप है, "इन्वेंट्री" "लिया गया है" का विषय है। तदनुसार, हमारे पास एक दिशा और दूसरे में एक "बढ़त" है। ये समान संबंध नहीं हैं; वे एक अलग प्रकृति के हैं, इसलिए उन्हें प्रतिष्ठित होना चाहिए।

इसके बाद, हम उन सरल मामलों पर विचार करते हैं जहाँ एक वाक्य के सदस्य उपस्थित होते हैं, निहित नहीं। पास से निपटने के लिए संरचनाएं और निशान हैं। पेड़ में कुछ दिखाई देता है जिसमें एक सतही अभिव्यक्ति नहीं है - एक शब्द। लेकिन यह एक और अध्ययन का विषय है, लेकिन हमें अभी भी अपने दम पर ध्यान केंद्रित करने की आवश्यकता है।

यूनिवर्सल डिपेंडेंसी प्रोजेक्ट

एक पार्सर की पसंद को सुविधाजनक बनाने के लिए, हमने अपना ध्यान यूनिवर्सल डिपेंडेंसी प्रोजेक्ट और CoNLL शेयर्ड टास्क प्रतियोगिता की ओर दिलाया , जो हाल ही में इसके ढांचे के भीतर हुई।

यूनिवर्सल डिपेंडेंसी निर्भरता व्याकरण के ढांचे के भीतर वाक्यगत कोष (ट्रिबैंक) के मार्कअप को एकीकृत करने के लिए एक परियोजना है। रूसी में, वाक्यात्मक लिंक की संख्या सीमित है - विषय, विधेय, आदि। अंग्रेजी में भी, लेकिन सेट पहले से ही अलग है। उदाहरण के लिए, एक लेख वहाँ दिखाई देता है जिसे किसी तरह लेबल करने की आवश्यकता होती है। अगर हम एक जादू पार्सर लिखना चाहते थे जो सभी भाषाओं को संभाल सकता था, तो हम जल्दी से विभिन्न व्याकरणों की तुलना में समस्याओं में भाग लेंगे। यूनिवर्सल डिपेंडेंसी के वीर रचनाकार आपस में सहमत हुए और उन सभी इमारतों को चिन्हित किया जो एक ही प्रारूप में उनके निपटान में थीं। यह बहुत महत्वपूर्ण नहीं है कि वे कैसे सहमत हुए, मुख्य बात यह है कि आउटपुट में हमें इस पूरी कहानी को प्रस्तुत करने के लिए एक निश्चित प्रारूप मिला - 60 भाषाओं के लिए 100 से अधिक ट्रिबैंक ।

CoNLL साझा टास्क पार्सिंग एल्गोरिदम के डेवलपर्स के बीच एक प्रतियोगिता है, जिसे यूनिवर्सल डिपेंडेंसी प्रोजेक्ट के हिस्से के रूप में आयोजित किया जाता है। आयोजक एक निश्चित संख्या में ट्रिबैंक लेते हैं और उनमें से प्रत्येक को तीन भागों में तोड़ते हैं - प्रशिक्षण, सत्यापन और परीक्षण। पहला भाग प्रतियोगिता के प्रतिभागियों को प्रदान किया जाता है ताकि वे उस पर अपने मॉडल को प्रशिक्षित करें। दूसरे भाग का उपयोग प्रतिभागियों द्वारा प्रशिक्षण के बाद एल्गोरिथ्म के संचालन का मूल्यांकन करने के लिए भी किया जाता है। प्रतिभागी प्रशिक्षण दोहरा सकते हैं और पुनरावृत्ति का मूल्यांकन कर सकते हैं। फिर वे आयोजकों को अपना सर्वश्रेष्ठ एल्गोरिथम देते हैं, जो इसे प्रतिभागियों के पास परीक्षण भाग पर चलाते हैं। जनजातियों के परीक्षण भागों पर मॉडल के परिणाम प्रतियोगिता के परिणाम हैं।

गुणवत्ता मैट्रिक्स

हमारे पास शब्दों और उनके प्रकारों के बीच संबंध हैं। हम मूल्यांकन कर सकते हैं कि क्या शीर्ष शब्द सही रूप से पाया गया है - यूएएस (अनलिस्टेड अटैचमेंट स्कोर) मीट्रिक। या मूल्यांकन करने के लिए कि क्या दोनों शीर्ष और निर्भरता के प्रकार को सही ढंग से पाया जाता है - LAS (लेबल लगाव स्कोर) मीट्रिक।



ऐसा लगता है कि एक सटीकता का मूल्यांकन यहाँ अपने आप हो जाता है - हम मानते हैं कि हमें कुल मामलों में कितनी बार मिला। यदि हमारे पास 5 शब्द हैं और 4 के लिए हमने सही ढंग से शीर्ष निर्धारित किया है, तो हमें 80% मिलता है।

लेकिन वास्तव में अपने शुद्ध रूप में पार्सर का मूल्यांकन समस्याग्रस्त है। स्वचालित पार्सिंग की समस्याओं को हल करने वाले डेवलपर्स अक्सर कच्चे पाठ को इनपुट के रूप में लेते हैं, जो विश्लेषण पिरामिड के अनुसार, टोकन और रूपात्मक विश्लेषण के चरणों से गुजरता है। इन पहले के चरणों से त्रुटियां पार्सर की गुणवत्ता को प्रभावित कर सकती हैं। विशेष रूप से, यह टोकन प्रक्रिया पर लागू होता है - शब्द आवंटन। यदि हमने गलत इकाई शब्दों की पहचान की है, तो हम अब उनके बीच के वाक्यात्मक संबंधों का सही मूल्यांकन नहीं कर पाएंगे - आखिरकार, हमारे मूल लेबल वाले कॉर्प्स में इकाइयाँ भिन्न थीं।

इसलिए, इस मामले में मूल्यांकन सूत्र एफ-माप है, जहां सटीकता भविष्यवाणियों की कुल संख्या के सापेक्ष सटीक हिट का हिस्सा है, और पूर्णता चिह्नित डेटा में लिंक की संख्या के सापेक्ष सटीक हिट का हिस्सा है।

जब हम भविष्य में अनुमान देते हैं, तो हमें यह याद रखना चाहिए कि उपयोग किए जाने वाले मैट्रिक्स न केवल सिंटैक्स को प्रभावित करते हैं, बल्कि टोकन की गुणवत्ता भी।

यूनिवर्सल डिपेंडेंसी में रूसी भाषा

पार्सर के लिए वाक्य-रचना को उन वाक्यों को चिह्नित करने में सक्षम होने के लिए जो अभी तक नहीं देखे गए हैं, इसे प्रशिक्षण के लिए चिह्नित कोष को खिलाने की आवश्यकता है। रूसी भाषा के लिए, ऐसे कई मामले हैं:



दूसरा कॉलम टोकन की संख्या को इंगित करता है - शब्द। जितना अधिक टोकन, उतना ही प्रशिक्षण कोर और बेहतर अंतिम एल्गोरिथ्म (यदि यह अच्छा डेटा है)। जाहिर है, सभी प्रयोगों को SynTagRus (IPPI RAS द्वारा विकसित) पर आयोजित किया जाता है, जिसमें एक मिलियन से अधिक टोकन होते हैं। सभी एल्गोरिदम को इस पर प्रशिक्षित किया जाएगा, जिस पर बाद में चर्चा की जाएगी।

CoNLL साझा टास्क में रूसी के लिए पार्सर्स

पिछले वर्ष की प्रतियोगिता के परिणामों के अनुसार, एक ही SynTagRus पर प्रशिक्षित किए गए मॉडल ने निम्नलिखित LAS संकेतक प्राप्त किए:



रूसी के लिए पार्सर्स के परिणाम प्रभावशाली हैं - वे अंग्रेजी, फ्रेंच और अन्य दुर्लभ भाषाओं के लिए पार्सर्स की तुलना में बेहतर हैं। हम एक साथ दो कारणों से बहुत भाग्यशाली थे। सबसे पहले, एल्गोरिदम रूसी भाषा के साथ एक अच्छा काम करते हैं। दूसरे, हमारे पास SynTagRus है - एक बड़ा और चिह्नित आवास।

वैसे, 2018 की प्रतियोगिता पहले ही बीत चुकी है, लेकिन हमने इस वर्ष के वसंत में अपना शोध किया, इसलिए हम पिछले वर्ष के ट्रैक के परिणामों पर भरोसा करते हैं। आगे देखते हुए, हम ध्यान दें कि UDPipe (भविष्य) का नया संस्करण इस वर्ष और भी अधिक निकला।

सिंटेक्सनेट, एक Google पार्सर, सूची में नहीं है। उसका क्या कसूर है? उत्तर सरल है: सिंटेक्सनेट केवल रूपात्मक विश्लेषण के चरण के साथ शुरू हुआ। उन्होंने पहले से तैयार आदर्श टोकन लिया, और पहले से ही इसके ऊपर प्रसंस्करण का निर्माण किया। इसलिए, बाकी के साथ एक सममूल्य पर इसका मूल्यांकन करना अनुचित है - बाकी ने अपने स्वयं के एल्गोरिदम के साथ टोकन में विभाजन किया, और इससे सिंटैक्स के अगले चरण में परिणाम खराब हो सकते हैं। सिंटेक्सनेट के 2017 के नमूने में ऊपर की पूरी सूची की तुलना में बेहतर परिणाम है, लेकिन प्रत्यक्ष तुलना उचित नहीं है।

तालिका को 12 और 15 स्थानों पर UDPipe के दो संस्करण मिले। वही लोग जिन्होंने यूनिवर्सल डिपेंडेंसी प्रोजेक्ट में सक्रिय भाग लिया था, वे इस पार्सर को विकसित कर रहे हैं।

UDPipe अपडेट समय-समय पर दिखाई देते हैं (कुछ हद तक कम, वैसे, मामलों का लेआउट भी अपडेट किया जाता है)। इसलिए, पिछले साल प्रतियोगिता के बाद, यूडीपीपी अपडेट किया गया था (ये संस्करण 2.0 के लिए अभी तक जारी नहीं किए गए थे; भविष्य में, सादगी के लिए, हम मोटे तौर पर यूडीपीईपी 2.0 का संदर्भ लेंगे जो हमने लिया था, हालांकि कड़ाई से यह बात नहीं है); बेशक, प्रतियोगिता तालिका में ऐसे कोई अपडेट नहीं हैं। "हमारे" वचनबद्ध होने का परिणाम लगभग सातवें स्थान पर है।



इसलिए, हमें रूसी भाषा के लिए एक पार्सर चुनने की आवश्यकता है। प्रारंभिक डेटा के रूप में, हमारे पास प्रमुख सिंटेक्सनेट के साथ और ऊपर 7 वें स्थान पर UDPipe 2.0 के साथ प्लेट है।

एक मॉडल चुनें

हम इसे सरल बनाते हैं: हम पार्सर के साथ उच्चतम दरों के साथ शुरू करते हैं। अगर उसके साथ कुछ गलत है, तो नीचे जाएं। निम्नलिखित मानदंडों के अनुसार कुछ सही नहीं हो सकता है - शायद वे सही नहीं हैं, लेकिन वे हमारे पास आए:

• काम की गति । हमारे पार्सर को काफी तेजी से काम करना चाहिए। सिंटैक्स, निश्चित रूप से, वास्तविक समय प्रणाली के "हुड के तहत" एकमात्र मॉड्यूल से दूर है, इसलिए आपको इस पर एक दर्जन से अधिक मिलीसेकेंड नहीं खर्च करना चाहिए।
  
• काम की गुणवत्ता । कम से कम, पार्सर खुद रूसी भाषा के आंकड़ों पर आधारित है। आवश्यकता स्पष्ट है। रूसी भाषा के लिए, हमारे पास काफी अच्छे रूपात्मक विश्लेषक हैं जिन्हें हमारे पिरामिड में एकीकृत किया जा सकता है। यदि हम यह सुनिश्चित कर सकते हैं कि पार्सर स्वयं आकृति विज्ञान के बिना शांत काम करता है, तो यह हमारे अनुरूप होगा - हम बाद में आकृति विज्ञान को खिसका देंगे।
  
• एक प्रशिक्षण कोड की उपलब्धता और अधिमानतः सार्वजनिक डोमेन में एक मॉडल । यदि हमारे पास एक प्रशिक्षण कोड है, तो हम मॉडल के लेखक के परिणामों को दोहरा पाएंगे। ऐसा करने के लिए, उन्हें खुला होना चाहिए। और, इसके अलावा, हमें मामलों और मॉडलों के वितरण के लिए स्थितियों की सावधानीपूर्वक निगरानी करने की आवश्यकता है - क्या हमें उनका उपयोग करने के लिए लाइसेंस खरीदना होगा, अगर हम उन्हें अपने एल्गोरिदम के हिस्से के रूप में उपयोग करते हैं?
  
• अतिरिक्त प्रयास के बिना लॉन्च करें । यह आइटम बहुत व्यक्तिपरक है, लेकिन महत्वपूर्ण है। इसका क्या मतलब है? इसका मतलब है कि अगर हम तीन दिन बैठते हैं और कुछ शुरू करते हैं, लेकिन यह शुरू नहीं होता है, तो हम इस पार्सर का चयन करने में सक्षम नहीं होंगे, भले ही यह सही गुणवत्ता का हो।
  

पार्सर चार्ट पर UDPipe 2.0 की तुलना में अधिक सब कुछ हमारे अनुरूप नहीं था। हमारे पास एक पायथन परियोजना है, और सूची से कुछ पार्सर पायथन में नहीं लिखे गए हैं। पायथन परियोजना में उन्हें लागू करने के लिए, बहुत ही सुपर प्रयासों को लागू करना आवश्यक होगा। अन्य मामलों में, हम बंद स्रोत कोड, शैक्षणिक, औद्योगिक विकास के साथ सामना कर रहे थे - सामान्य तौर पर, आप नीचे तक नहीं पहुंचेंगे।

स्टार सिंटेक्सनेट काम की गुणवत्ता के बारे में एक अलग कहानी के हकदार हैं। यहां उन्होंने काम की गति के लिए हमें सूट नहीं किया। चैट में आम कुछ सरल वाक्यांशों के लिए उनकी प्रतिक्रिया का समय 100 मिलीसेकंड से है। यदि हम सिंटैक्स पर इतना खर्च करते हैं, तो हमारे पास किसी और चीज़ के लिए पर्याप्त समय नहीं है। वहीं, UDPipe 2.0 ~ 3ms के लिए पार्सिंग करता है। नतीजतन, विकल्प UDPipe 2.0 पर गिर गया।

UDPipe 2.0

यूडीपीआइपी एक पाइपलाइन है जो टोकन, लेमेटेटाइजेशन, मॉर्फोलॉजिकल टैगिंग और डिपेंडेंसी ग्रामर पार्सिंग सीखता है। हम उसे यह सब या कुछ अलग से सिखा सकते हैं। उदाहरण के लिए, इसके साथ रूसी भाषा के लिए एक और रूपात्मक विश्लेषक बनाएं। या एक टोकन के रूप में UDPipe को प्रशिक्षित और उपयोग करें।

UDPipe 2.0 विस्तार से प्रलेखित है। वास्तुकला का वर्णन है , प्रशिक्षण कोड के साथ एक भंडार , एक मैनुअल । सबसे दिलचस्प रूसी भाषा के लिए तैयार मॉडल है , जिसमें शामिल है। डाउनलोड करें और चलाएं। इस संसाधन पर भी प्रत्येक भाषा कॉर्पस के लिए चयनित प्रशिक्षण मापदंडों को जारी किया गया है। ऐसे प्रत्येक मॉडल के लिए, लगभग 60 प्रशिक्षण मापदंडों की आवश्यकता होती है, और उनकी मदद से आप स्वतंत्र रूप से तालिका में समान गुणवत्ता संकेतक प्राप्त कर सकते हैं। वे इष्टतम नहीं हो सकते हैं, लेकिन कम से कम हम यह सुनिश्चित कर सकते हैं कि पाइपलाइन काफी सही ढंग से काम करेगी। इसके अलावा, इस तरह के एक संदर्भ की उपस्थिति हमें शांति से अपने दम पर मॉडल के साथ प्रयोग करने की अनुमति देती है।

कैसे UDPipe 2.0 काम करता है

सबसे पहले, पाठ वाक्यों में विभाजित है, और वाक्य शब्दों में। UDPipe एक संयुक्त मॉड्यूल की मदद से एक बार में यह सब करता है - एक तंत्रिका नेटवर्क (एकल-परत दो तरफा जीआरयू), जो प्रत्येक वर्ण के लिए भविष्यवाणी करता है कि यह एक वाक्य में अंतिम है या एक शब्द में।

फिर टैगर काम करना शुरू कर देता है - एक ऐसी चीज जो टोकन के रूपात्मक गुणों की भविष्यवाणी करती है: किस मामले में शब्द किस संख्या में है। प्रत्येक शब्द के अंतिम चार वर्णों के आधार पर, एक टैगर उस शब्द के भाषण और रूपात्मक टैग के एक हिस्से के बारे में परिकल्पना उत्पन्न करता है, और फिर एक अवधारणात्मक की मदद से सबसे अच्छा विकल्प चुनता है।

UDPipe में एक लेमेटाइज़र भी है जो शब्दों के लिए प्रारंभिक रूप का चयन करता है। वह उसी सिद्धांत के बारे में सीखता है जिसके द्वारा एक गैर-देशी वक्ता एक अपरिचित शब्द की लीमा को निर्धारित करने का प्रयास कर सकता है। हम उपसर्ग और शब्द के अंत को काटते हैं, कुछ "टी" जोड़ते हैं, जो क्रिया के प्रारंभिक रूप में मौजूद है, आदि। तो उम्मीदवार उत्पन्न होते हैं, जिसमें से सबसे अच्छा अवधारणात्मक विकल्प चुनता है।

रूपात्मक टैगिंग योजना (संख्या, केस और बाकी सब कुछ निर्धारित करना) और लेमेस की भविष्यवाणियां बहुत समान हैं। उन्हें एक साथ भविष्यवाणी की जा सकती है, लेकिन अलग से बेहतर - रूसी भाषा की आकृति विज्ञान बहुत समृद्ध है। आप अपनी लिम्मा की सूची भी कनेक्ट कर सकते हैं।

सबसे दिलचस्प भाग पर चलते हैं - पार्सर। कई निर्भरता पार्सर आर्किटेक्चर हैं। UDPipe एक संक्रमण-आधारित वास्तुकला है: यह एक रैखिक समय में एक बार सभी टोकन से गुजरते हुए जल्दी से काम करता है।

ऐसी वास्तुकला में सिंथेटिक पार्सिंग एक स्टैक के साथ शुरू होती है (जहां शुरुआत में केवल जड़ होती है) और एक खाली कॉन्फ़िगरेशन। इसे बदलने के तीन डिफ़ॉल्ट तरीके हैं:

• यदि स्टैक का दूसरा तत्व रूट नहीं है, तो LeftArc - लागू। यह स्टैक के शीर्ष पर टोकन और दूसरे टोकन के बीच संबंध रखता है, और स्टैक से दूसरे को भी बाहर निकालता है।
  
• RightArc समान है, लेकिन निर्भरता दूसरे तरीके से बनाई गई है, और टिप को छोड़ दिया गया है।
  
• Shift - बफर से स्टैक तक अगले शब्द को स्थानांतरित करता है।
  

नीचे पार्सर ( स्रोत ) का एक उदाहरण है। हमारे पास वाक्यांश है "मुझे सुबह की उड़ान बुक करें" और हम इसे फिर से जोड़ रहे हैं:



यहाँ परिणाम है:



क्लासिक ट्रांस्फ़ॉर्म-आधारित पार्सर में ऊपर सूचीबद्ध तीन ऑपरेशन हैं: एक तरफ़ा तीर, एक तरफ़ा तीर और शिफ़्ट। एक स्वैप ऑपरेशन भी है, बुनियादी संक्रमण-आधारित पार्सर आर्किटेक्चर में इसका उपयोग नहीं किया जाता है, लेकिन यह यूडीपीपी में शामिल है। स्वैप बफर के अगले तत्व को बफर से अगले एक को वापस करने के लिए देता है (यदि वे रिक्त हैं)। यह कुछ शब्दों को छोड़ने और सही कनेक्शन को पुनर्स्थापित करने में मदद करता है।

स्वैप ऑपरेशन के साथ आने वाले व्यक्ति के लिंक का एक अच्छा लेख है। हम एक बिंदु को बाहर करते हैं: इस तथ्य के बावजूद कि हम बार-बार प्रारंभिक टोकन बफर से गुजरते हैं (यानी, हमारा समय अब ​​रैखिक नहीं है), इन कार्यों को अनुकूलित किया जा सकता है ताकि समय रैखिक के बहुत करीब लौट आए। यही है, इससे पहले कि हम न केवल भाषा के दृष्टिकोण से एक सार्थक संचालन है, बल्कि एक उपकरण भी है जो पार्सर के काम को धीमा नहीं करता है।

ऊपर दिए गए उदाहरण का उपयोग करते हुए, हमने ऑपरेशन दिखाए, जिसके परिणामस्वरूप हमें कुछ कॉन्फ़िगरेशन मिलते हैं - टोकन बफर और उनके बीच कनेक्शन। हम इस कॉन्फ़िगरेशन को संक्रमण-आधारित पार्सर के वर्तमान चरण में देते हैं, और इसके साथ, इसे अगले चरण में कॉन्फ़िगरेशन की भविष्यवाणी करनी चाहिए। प्रत्येक चरण में इनपुट वैक्टर और कॉन्फ़िगरेशन की तुलना करते हुए, मॉडल को प्रशिक्षित किया जाता है।

इसलिए, हमने एक ऐसे पार्सर का चयन किया जो हमारे सभी मानदंडों को फिट करता है, और यहां तक ​​कि यह भी समझ में आता है कि यह कैसे काम करता है। हम प्रयोगों के लिए आगे बढ़ते हैं।

UDPipe समस्या

चलो एक छोटा सा वाक्य पूछें: "माँ को सौ रूबल हस्तांतरित करें"। परिणाम आपको अपना सिर पकड़ लेता है।



"अनुवाद" एक बहाना बन गया, लेकिन यह काफी तार्किक है। हम अंतिम चार वर्णों द्वारा शब्द रूप का व्याकरण निर्धारित करते हैं। "लीड" "बीच में" जैसा कुछ है, इसलिए पसंद अपेक्षाकृत तार्किक है। यह "माँ" के साथ अधिक दिलचस्प है: "माँ" प्रीपोजल मामले में थी और इस वाक्य का शिखर बन गई थी।

यदि हम पार्सिंग के परिणामों के आधार पर सब कुछ व्याख्या करने की कोशिश करते हैं, तो हमें "एक माँ (जिसकी माँ है? यह माँ कौन है?) सैकड़ों रूबल के बीच में ऐसा कुछ मिलेगा।" शुरुआत में यह बिल्कुल नहीं था। हमें इससे किसी तरह निपटने की जरूरत है। और हम कैसे साथ आए।

विश्लेषण पिरामिड में, आकृति विज्ञान टैग के आधार पर, आकृति विज्ञान के शीर्ष पर सिंटैक्स का निर्माण किया जाता है। यहाँ एक भाषाविद् एल.वी. का एक पाठ्यपुस्तक उदाहरण है। इस संबंध में Shcherby:

"ग्लॉसी कुज्ड्रा शेटको बुडलानुला बोकरा और घुंघराले बालों वाला छोटा लड़का।"

इस प्रस्ताव का विश्लेषण समस्याओं का कारण नहीं बनता है। क्यों? क्योंकि हम, UDPipe टैगर के रूप में, एक शब्द के अंत को देखते हैं और समझते हैं कि यह किस भाग के भाषण को दर्शाता है और यह किस रूप में है। एक बहाने के रूप में "अनुवाद" के साथ कहानी पूरी तरह से हमारे अंतर्ज्ञान का खंडन करती है, लेकिन यह उस समय तार्किक हो जाता है जब हम अपरिचित शब्दों के साथ ऐसा करने की कोशिश करते हैं। एक व्यक्ति शायद ऐसा ही सोचता है।

हम अलग से UDPipe टैगर का मूल्यांकन करेंगे। यदि यह हमें सूट नहीं करता है, तो हम एक और टैगर ले लेंगे - फिर दूसरे रूपात्मक मार्कअप के शीर्ष पर पार्सिंग बनाने के लिए।

सादे पाठ से टैगिंग (CoNLL17 F1 स्कोर)

• सोने के रूप: 301639 ,
  
• upostag: 98.15% ,
  
• xpostag: 99.89% ,
  
• करतब: 93.97% ,
  
• alltags: 93.44% ,
  
• नींबू: 96.68%
  

UDPipe 2.0 की आकृति विज्ञान की गुणवत्ता खराब नहीं है। लेकिन रूसी भाषा के लिए बेहतर है। Mystem विश्लेषक ( Yandex का विकास ) UDPipe की तुलना में भाषण के कुछ हिस्सों को निर्धारित करने में बेहतर परिणाम प्राप्त करता है। इसके अलावा, अन्य विश्लेषण करने वालों को अजगर परियोजना में लागू करना अधिक कठिन होता है, और वे सिस्टम की तुलना में गुणवत्ता पर अधिक धीमी गति से काम करते हैं।वैसे, रूसी भाषा के लिए रूपात्मक विश्लेषणकर्ताओं की तुलना करने के लिए कुछ दिलचस्प लेख समर्पित हैं ।
आप UDPipe पार्सर के इनपुट के रूप में इसके आउटपुट रूपात्मक मार्कअप का उपयोग करने का प्रयास कर सकते हैं। लेकिन समस्याएं हैं। बहुत से लोग जानते हैं कि Mystem पूरी तरह से रूपात्मक गृहवाद को नहीं समझता है। वह जानता है कि वाक्य में "मामा ने फ्रेम को धोया" शब्द "साबुन" शब्द "धोने" से है, न कि "साबुन" से। लेकिन यह हमारे लिए पर्याप्त नहीं है। हमें "निर्देशक" जैसे शब्दों की भी आवश्यकता है, जहां लेम्मा बिल्कुल स्पष्ट (निर्देशक) है, हम समझते हैं कि यह किस तरह का मामला है। यह हो सकता है:

• "नो डायरेक्टर" - विलक्षण जनन
  
• "मैं निर्देशक को देखता हूं" - अर्थात अभियोगी एकवचन
  
• « - » — (- )
  

ऐसे मामलों में, Mystem ईमानदारी से पूरी श्रृंखला देता है:

m.analyze(" ")
[{'analysis': [{'lex': '', 'gr': 'PART='}], 'text': ''},
{'text': ' '},
{'analysis': [{'lex': '', 'gr': 'S,,=(,|,|,)'}],
'text': ''},
{'text': '\n'}]

लेकिन हम UDPipe को संपूर्ण पाइप श्रृंखला नहीं भेज सकते हैं, लेकिन हमें कुछ बेहतर टैग निर्दिष्ट करने होंगे। इसे कैसे चुनें? यदि आप कुछ भी नहीं छूते हैं, तो मैं पहले लेना चाहता हूं, शायद यह काम करेगा। लेकिन टैग अंग्रेजी नामों के अनुसार वर्णानुक्रम में छांटे जाते हैं, इसलिए हमारी पसंद यादृच्छिक के करीब होगी, और कुछ पर्स लगभग पहले होने का मौका खो देते हैं।

एक विश्लेषक है जो सबसे अच्छा विकल्प दे सकता है - Pymorphy2। लेकिन आकृति विज्ञान के विश्लेषण के साथ, वह बदतर है। इसके अलावा, वह संदर्भ के बाहर सबसे अच्छा शब्द देता है। Pymorphy2 "कोई निर्देशक", "निर्देशक देखें" और "निर्देशक" के लिए केवल एक विश्लेषण देगा। यह यादृच्छिक नहीं होगा, लेकिन वास्तव में संभाव्यता में सबसे अच्छा है, जो pymorphy2 में ग्रंथों के एक अलग शरीर पर माना जाता था। लेकिन युद्ध के ग्रंथों के गलत विश्लेषण के एक निश्चित प्रतिशत की गारंटी होगी, बस इसलिए कि वे अलग-अलग वास्तविक रूपों के साथ वाक्यांशों को समाहित कर सकते हैं: दोनों "मैं निर्देशक को देखता हूं" और "निदेशक बैठक में आए" और "कोई निर्देशक नहीं है"। पार्सिंग की एक संदर्भहीन संभावना हमें शोभा नहीं देती।

संदर्भों का सर्वश्रेष्ठ सेट कैसे प्राप्त करें? RNNMorph विश्लेषक का उपयोग करना। कुछ लोगों ने उसके बारे में सुना, लेकिन पिछले साल उसने रूपात्मक विश्लेषणकर्ताओं के बीच प्रतियोगिता में जीत हासिल की, जो कि वार्ता सम्मेलन के हिस्से के रूप में आयोजित की गई थी।

RNNMorph की अपनी समस्या है: इसमें टोकन नहीं है। यदि Mystem कच्चे पाठ को टोकन कर सकता है, तो RNNMorph को इनपुट पर टोकन की सूची की आवश्यकता होती है। सिंटैक्स पर जाने के लिए, आपको पहले कुछ बाहरी टोकन का उपयोग करने की आवश्यकता होगी, फिर परिणाम को RNNMorph दें और उसके बाद ही सिंटैक्स पार्सर को परिणामी आकृति विज्ञान फ़ीड करें।

यहां हमारे पास विकल्प हैं। हम अब तंत्र में विवादास्पद मामलों के लिए pymorphy2 के संदर्भहीन विश्लेषण से इनकार नहीं करेंगे - अचानक यह RNNMorph से बहुत पीछे नहीं रहेगा। यद्यपि अगर हम उनकी तुलना रूपात्मक मार्कअप ( मॉर्फोउरवेल -2017 के डेटा) की गुणवत्ता के स्तर पर करते हैं, तो नुकसान महत्वपूर्ण है - लगभग 15%, अगर हम शब्दों के अनुसार सटीकता लेते हैं।
इसके बाद, हमें Mystem के आउटपुट को उस प्रारूप में बदलना होगा जो UDPipe समझता है - conllu। और फिर से यह एक समस्या है, यहां तक ​​कि दो के रूप में कई। विशुद्ध रूप से तकनीकी - लाइनें मेल नहीं खाती हैं। और वैचारिक - यह हमेशा पूरी तरह से स्पष्ट नहीं है कि उनकी तुलना कैसे की जाए। भाषा डेटा के दो अलग-अलग मार्कअप के साथ, आप लगभग निश्चित रूप से टैग मिलान की समस्या में भाग लेंगे, नीचे दिए गए उदाहरण देखें। प्रश्न का उत्तर "कौन सा टैग सही है" अलग हो सकता है, और शायद सही उत्तर कार्य पर निर्भर करता है। इस असंगति के कारण, मार्कअप सिस्टम का मिलान अपने आप में एक आसान काम नहीं है।

कैसे कन्वर्ट करें? रूसी_टैगसेट _ पैकेज है - पायथन के लिए एक पैकेज जो विभिन्न स्वरूपों को परिवर्तित कर सकता है। यूनिवर्सल डिपेंडेन्सी में स्वीकार किए जाने वाले कॉनल्लु के लिए Mystem जारी करने के प्रारूप से कोई अनुवाद नहीं है, लेकिन रूसी भाषा के राष्ट्रीय कोष के मार्कअप प्रारूप (और इसके विपरीत) से, conllu में अनुवाद है। पैकेज के लेखक (वैसे, वह pymorphy2 के लेखक हैं) ने प्रलेखन में सीधे एक अद्भुत बात लिखी: "यदि आप इस पैकेज का उपयोग नहीं कर सकते हैं, तो इसका उपयोग न करें।" उन्होंने ऐसा नहीं किया क्योंकि क्रिवोरोकोव प्रोग्रामर (वह एक उत्कृष्ट प्रोग्रामर है!), लेकिन क्योंकि अगर आपको एक दूसरे को बदलने की आवश्यकता है, तो आपको मार्कअप सम्मेलनों की भाषाई असंगति के कारण समस्याएं होने का खतरा है।

यहाँ एक उदाहरण है। स्कूल को "स्थिति की श्रेणी" (ठंड, आवश्यक) सिखाया गया था। कुछ कहते हैं कि यह एक क्रिया विशेषण है, कुछ लोग विशेषण कहते हैं। आपको इसे परिवर्तित करने की आवश्यकता है, और आप कुछ नियम जोड़ते हैं, लेकिन फिर भी एक प्रारूप और दूसरे के बीच एक अस्पष्ट पत्राचार प्राप्त नहीं करते हैं।

एक और उदाहरण: एक प्रतिज्ञा (या तो किसी ने कुछ किया या किसी के साथ कुछ किया)। "पेट्या ने किसी को मार डाला" या "पेट्या को मार दिया गया।" "वास्या तस्वीरें लेती हैं" - "वास्या तस्वीरें लेती हैं" (जो वास्तव में, "वास्या की तस्वीर है")। SynTagRus में एक औसत दर्जे की गारंटी भी है - हम यह भी नहीं जानते हैं कि यह क्या है और क्यों है। लेकिन तंत्र में यह नहीं है। यदि आपको किसी तरह एक प्रारूप को दूसरे में लाने की आवश्यकता है, तो यह एक मृत अंत है।

हमने अधिक या कम ईमानदारी से रशियन_टैगसेट पैकेज के लेखक की सलाह ली - इसके विकास का उपयोग नहीं किया, क्योंकि हमें पत्राचार प्रारूपों की सूची में आवश्यक जोड़ी नहीं मिली। नतीजतन, हमने अपने कस्टम कनवर्टर को Mystem से Conllu लिखा और आगे बढ़ गए।

हम तृतीय-पक्ष टैगर और UDPipe पार्सर से कनेक्ट होते हैं

सभी कारनामों के बाद, हमने तीन एल्गोरिदम लिए, जिन्हें ऊपर वर्णित किया गया था:

• बेसलाइन UDPipe
  
• Pymorphy2 से टैग की छूट के साथ Mym
  
• RNNMorph
  

हम एक बहुत स्पष्ट कारण के लिए गुणवत्ता में खो गए। हमने एक आकारिकी पर प्रशिक्षित यूडीपीआई मॉडल लिया, लेकिन एक इनपुट पर दूसरे आकृति विज्ञान को खिसका दिया। ट्रेन और परीक्षण के बीच डेटा बेमेल की क्लासिक समस्या गुणवत्ता में गिरावट का परिणाम है।

हमने अपने स्वचालित रूपात्मक अंकन उपकरण को SynTagRus मार्कअप के साथ संरेखित करने की कोशिश की, जिसे मैन्युअल रूप से चिह्नित किया गया था। हम सफल नहीं हुए, इसलिए, SynTagRus प्रशिक्षण मामले में, हम सभी मैनुअल रूपात्मक चिह्नों को एक मामले में Mystem और pymorphy2 से प्राप्त करने और दूसरे में RNNMorph से प्रतिस्थापित करेंगे। हाथ से चिह्नित एक वैध मामले में, हम मैन्युअल मार्किंग को स्वचालित में बदलने के लिए मजबूर हैं, क्योंकि "लड़ाई में" हमें मैनुअल मार्किंग कभी नहीं मिलेगी।

नतीजतन, हमने आधार रेखा के समान हाइपरपैरामीटर के साथ यूडीपीईप पार्सर (केवल पार्सर) को प्रशिक्षित किया। सिंटैक्स के लिए क्या जिम्मेदार था - शीर्ष आईडी, जिस पर कनेक्शन का प्रकार निर्भर करता है - हमने छोड़ दिया, हमने बाकी सब कुछ बदल दिया।

परिणाम

इसके अलावा मैं सिंटेक्सनेट और अन्य एल्गोरिदम के साथ हमारी तुलना करूंगा। CoNLL साझा कार्य आयोजकों ने SynTagRus विभाजन (ट्रेन / देव / परीक्षण 80/10/10) का अनावरण किया है। हमने शुरू में एक और (ट्रेन / परीक्षण 70/30) लिया था, इसलिए डेटा हमेशा हमारे साथ मेल नहीं खाता है, हालांकि वे एक ही मामले में प्राप्त हुए थे। इसके अलावा, हमने SynTagRus रिपॉजिटरी से नवीनतम (फरवरी-मार्च के रूप में) लिया - यह संस्करण प्रतियोगिता में एक से थोड़ा अलग है। उन चीज़ों के लिए डेटा, जो उन लेखों में दी गई हैं, जहां स्पर्धा में विभाजन समान था - ऐसे एल्गोरिदम को तालिका में तारांकन चिह्न के साथ चिह्नित किया जाता है।

यहाँ अंतिम परिणाम हैं:


RNNMorph वास्तव में बेहतर निकला - पूर्ण अर्थों में नहीं, बल्कि पार्सिंग के परिणामों (Mystem + pymorphy2 की तुलना में) के अनुसार एक सामान्य मीट्रिक प्राप्त करने के लिए एक सहायक उपकरण की भूमिका में। यही है, बेहतर आकारिकी, बेहतर वाक्यविन्यास, लेकिन "वाक्यविन्यास" अलगाव रूपात्मक की तुलना में बहुत कम है। ध्यान दें कि हम बेसलाइन मॉडल से बहुत दूर नहीं गए थे, जिसका अर्थ है कि आकृति विज्ञान में वास्तव में उतना नहीं था जितना हम उम्मीद करते थे।

मुझे आश्चर्य है कि आकृति विज्ञान पर कितना झूठ है? क्या आदर्श आकृति विज्ञान के कारण सिंटैक्टिक पार्सर में एक मौलिक सुधार प्राप्त करना संभव है? इस प्रश्न का उत्तर देने के लिए, हमने UDPipe 2.0 को टोकन और आकारिकी पर निकाल दिया जो पूरी तरह से कैलिब्रेट किया गया था (मानक मैनुअल मार्कर मानक का उपयोग करके)। हमें एक निश्चित मार्जिन मिला (तालिका में गोल्ड मॉर्फ के बारे में रेखा देखें; यह आरएनएनमॉर्फ_प्रिनोटेड_सिनटैक्स से + 1.54% निकला) जो हमारे पास था, जिसमें कनेक्शन के प्रकार को सही ढंग से निर्धारित करने के दृष्टिकोण से शामिल था। यदि कोई कभी रूसी भाषा का एकदम सही रूपात्मक विश्लेषक लिखता है, तो संभावना है कि हम एक अमूर्त सिंथैटिक पार्सर का उपयोग करने वाले परिणाम भी प्राप्त करेंगे। और हम मोटे तौर पर छत को समझते हैं (कम से कम उस वास्तुकला के लिए छत और मापदंडों के संयोजन के लिए जो हमने यूडीपीआईपी के लिए उपयोग किया था - यह ऊपर दी गई तालिका की तीसरी पंक्ति में दिखाया गया है)।

दिलचस्प बात यह है कि, हम लगभग LAS मीट्रिक में सिंटेक्सनेट संस्करण तक पहुँच गए। यह स्पष्ट है कि हमारे पास थोड़ा अलग डेटा है, लेकिन सिद्धांत रूप में यह अभी भी तुलनीय है। सिंटेक्सनेट टोकेनाइजेशन "गोल्ड" है, और हमारे लिए - सिस्टम से। हमने Mystem को पूर्वोक्त आवरण लिखा था, लेकिन पार्स करना अभी भी स्वचालित रूप से होता है; शायद Mystem भी कहीं गलत है। "UDPipe 2.0 गोल्ड टॉस्क" टेबल की लाइन से, यह देखा जा सकता है कि यदि आप डिफ़ॉल्ट UDPipe और गोल्ड टोकन लेते हैं, तो यह अभी भी Syntaxnet-2017 को थोड़ा खो देता है। लेकिन यह बहुत तेजी से काम करता है।

कोई भी नहीं पहुंचा है स्टैनफोर्ड पार्सर । इसे सिंटेक्सनेट की तरह से बनाया गया है, इसलिए यह लंबे समय तक काम करता है। UDPipe में, हम केवल स्टैक के साथ जाते हैं। स्टैनफोर्ड पार्सर और सिंटेक्सनेट की वास्तुकला की एक अलग अवधारणा है: पहले वे एक पूर्ण उन्मुख ग्राफ उत्पन्न करते हैं, और फिर एल्गोरिथ्म कंकाल (न्यूनतम फैले हुए पेड़) को छोड़ने के लिए काम करता है जो सबसे अधिक संभावना होगी। ऐसा करने के लिए, वह संयोजनों से गुजरता है, और यह खोज अब रैखिक नहीं है, क्योंकि आप एक से अधिक बार एक शब्द में बदल जाएंगे। इस तथ्य के बावजूद कि लंबे समय तक, शुद्ध विज्ञान के दृष्टिकोण से, कम से कम रूसी भाषा के लिए, यह एक अधिक कुशल वास्तुकला है। हमने इस शैक्षणिक विकास को दो दिनों तक बढ़ाने की कोशिश की - अफसोस, यह कारगर नहीं हुआ। लेकिन इसकी वास्तुकला के आधार पर, यह स्पष्ट है कि यह तेजी से काम नहीं करता है।

हमारे दृष्टिकोण के लिए - यद्यपि हम औपचारिक रूप से लगभग मैट्रिक्स से नहीं उठे थे, अब "माँ" के साथ सब कुछ ठीक है।



वाक्यांश में "माँ को सौ रूबल का अनुवाद करें", "अनुवाद" वास्तव में अनिवार्य मूड में एक क्रिया है। "मॉम" को इसका मूल मामला मिला। और हमारे लिए सबसे महत्वपूर्ण चीज हमारा लेबल (iobj), एक अप्रत्यक्ष वस्तु (गंतव्य) है। यद्यपि संख्या में वृद्धि नगण्य है, लेकिन हमने उस समस्या से अच्छी तरह से सामना किया जिसके साथ कार्य शुरू हुआ था।

बोनस ट्रैक: विराम चिह्न

यदि हम वास्तविक डेटा पर लौटते हैं, तो यह पता चलता है कि वाक्यविन्यास विराम चिह्न पर निर्भर करता है। वाक्यांश लें "आप दया नहीं कर सकते।" वास्तव में क्या नहीं किया जा सकता है - "निष्पादित" या "दया करें" - यह इस बात पर निर्भर करता है कि अल्पविराम कहां खड़ा है। यहां तक ​​कि अगर हम डेटा को चिह्नित करने के लिए भाषाविद् डालते हैं, तो उसे किसी प्रकार के सहायक उपकरण के रूप में विराम चिह्न की आवश्यकता होगी। वह उसके बिना नहीं कर सकता था।

आइए "पीटर हैलो" और "पीटर हैलो" वाक्यांशों को लें और बेसलाइन-यूडीपीईपी मॉडल द्वारा उनके विश्लेषण को देखें। हम इस मॉडल के अनुसार समस्याओं को छोड़ देते हैं:
1) "पेट्या" एक स्त्री संज्ञा है;
2) "पेट्या" प्रारंभिक रूपों को देखते हुए (टैग के सेट से निर्णय लेने वाला) है, लेकिन एक ही समय में, उसकी लीमा "पेट्या" नहीं है।

इस तरह अल्पविराम के कारण परिणाम बदल जाता है, इसकी मदद से हमें सच्चाई के समान कुछ मिलता है।



दूसरे मामले में, "पेट्या" एक विषय है, और "हैलो" एक क्रिया है। अंतिम चार वर्णों के आधार पर एक शब्द के आकार की भविष्यवाणी करने के लिए वापस। एल्गोरिथ्म की व्याख्या में, यह "पेट्या अभिवादन" नहीं है, लेकिन "पेट्या अभिवादन" है। टाइप करें "पेटिया गाती है" या "पेट्या आएगी।" विश्लेषण काफी समझ में आता है: रूसी में, विषय और विधेय के बीच अल्पविराम नहीं हो सकता है। इसलिए, यदि अल्पविराम है, तो यह "हैलो" शब्द है, और यदि कोई अल्पविराम नहीं है, तो यह "पेट्या प्रिवेट" जैसा कुछ हो सकता है।

हम इसे बहुत बार उत्पादन में सामना करेंगे, क्योंकि वर्तनी जांच करने वाले वर्तनी को सही करेंगे, लेकिन विराम चिह्न नहीं। मामलों को बदतर बनाने के लिए, उपयोगकर्ता गलत तरीके से कॉमा सेट कर सकता है, और हमारा एल्गोरिथ्म उन्हें प्राकृतिक भाषा को समझने में ध्यान में रखेगा। यहां संभावित समाधान क्या हैं? हम दो विकल्प देखते हैं।

पहला विकल्प यह है कि वे कभी-कभी पाठ में भाषण का अनुवाद करते समय करते हैं। प्रारंभ में, ऐसे पाठ में कोई विराम चिह्न नहीं होता है, इसलिए इसे मॉडल के माध्यम से पुनर्स्थापित किया जाता है। आउटपुट रूसी भाषा के नियमों के संदर्भ में अपेक्षाकृत सक्षम सामग्री है, जो वाक्यात्मक पार्सर को सही ढंग से काम करने में मदद करता है।

दूसरा विचार कुछ हद तक बोल्ड है और रूसी भाषा के स्कूली पाठ का खंडन करता है। इसमें विराम चिह्न के बिना काम करना शामिल है: यदि अचानक इनपुट विराम चिह्न है, तो हम इसे वहां से हटा देंगे। हम प्रशिक्षण वाहिनी से पूरी तरह से विराम चिह्न भी हटा देंगे। हम मानते हैं कि रूसी भाषा विराम चिह्न के बिना मौजूद है। केवल वाक्यों में विभाजित करने के लिए अंक।

तकनीकी रूप से, यह बहुत सरल है, क्योंकि हम वाक्यविन्यास के पेड़ में अंत नोड नहीं बदलते हैं। हमारे पास ऐसा नहीं हो सकता है कि विराम चिह्न ऊपर है। % चिन्ह को छोड़कर, यह हमेशा कुछ अंत नोड होता है, जो किसी कारण से SynTagRus में पिछले अंक के लिए शीर्ष होता है (SynTagRus में 50% को% - शीर्ष और 50 - आश्रित के रूप में चिह्नित किया जाता है)।

आइए Mystem (+ pymorphy 2) मॉडल का उपयोग करके परीक्षण करें।



यह हमारे लिए महत्वपूर्ण है कि विराम चिह्न के बिना विराम चिह्न पाठ मॉडल न दिया जाए। लेकिन अगर हम हमेशा पाठ को विराम चिह्न के बिना देते हैं, तो हम शीर्ष पंक्ति में होंगे और कम से कम स्वीकार्य परिणाम प्राप्त करेंगे। यदि विराम चिह्न के बिना पाठ और मॉडल गैर-विराम चिह्न का काम करता है, तो आदर्श विराम चिह्न और विराम चिह्न के संबंध में, ड्रॉप केवल 3% होगा।

इसके बारे में क्या करना है? हम इन नंबरों पर ध्यान केंद्रित कर सकते हैं - विराम-चिह्नों से मुक्त मॉडल और विराम चिह्न की शुद्धि का उपयोग करके प्राप्त किया गया। या विराम चिह्न को बहाल करने के लिए किसी प्रकार के क्लासिफायरियर के साथ आते हैं। हमने आदर्श संख्या (विराम चिह्न पर विराम चिह्न) प्राप्त नहीं की है, क्योंकि विराम चिह्न पुनर्प्राप्ति एल्गोरिथ्म कुछ त्रुटि के साथ काम करता है, और "आदर्श" संख्याओं की गणना पूरी तरह से शुद्ध SynTagRus पर की गई थी। लेकिन अगर हम एक मॉडल लिखने जा रहे हैं जो विराम चिह्न को पुनर्स्थापित करता है, तो क्या प्रगति हमारी लागतों का भुगतान करेगी? जवाब अभी तक स्पष्ट नहीं है।

हम लंबे समय तक पार्सर की वास्तुकला के बारे में सोच सकते हैं, लेकिन हमें यह याद रखना चाहिए कि वास्तव में अभी तक वेब ग्रंथों के एक बड़े वाक्य-विन्यास के रूप में चिह्नित नहीं है। इसका अस्तित्व वास्तविक समस्याओं को बेहतर ढंग से हल करने में मदद करेगा। अब तक, हम बिल्कुल साक्षर, संपादित ग्रंथों की वाहिनी पर अध्ययन कर रहे हैं - और हम युद्ध में कस्टम ग्रंथों को प्राप्त करके गुणवत्ता खो रहे हैं, जिन्हें अक्सर अनपढ़ लिखा जाता है।

निष्कर्ष

हमने रूसी भाषा के अनुसार लागू होने वाले निर्भरता व्याकरण के आधार पर विभिन्न सिंटैक्टिक पार्सिंग एल्गोरिदम के उपयोग की जांच की। यह पता चला है कि काम की गति, सुविधा और गुणवत्ता के मामले में, UDPipe सबसे अच्छा उपकरण है। इसके आधारभूत मॉडल में सुधार किया जा सकता है यदि टोकेनाइजेशन और मॉर्फोलॉजिकल विश्लेषण के चरणों को दूसरे, तीसरे पक्ष के विश्लेषणकर्ताओं को सौंपा जाता है: यह ट्रिक टैगर के गलत व्यवहार को ठीक करने के लिए संभव बनाता है और, परिणामस्वरूप, विश्लेषण के लिए महत्वपूर्ण मामलों में पार्सर।

हमने विराम चिह्न और पार्सिंग के बीच संबंध की समस्या का भी विश्लेषण किया और इस निष्कर्ष पर पहुंचे कि हमारे मामले में, वाक्यात्मक पार्सिंग से पहले विराम चिह्न हटाने के लिए बेहतर है।

हम आशा करते हैं कि हमारे लेख में चर्चा किए गए एप्लिकेशन बिंदु आपकी समस्याओं को यथासंभव प्रभावी रूप से हल करने के लिए वाक्यविन्यास पार्सिंग का उपयोग करने में मदद करेंगे।

लेखक ने लेख तैयार करने में मदद के लिए निकिता कुजनेत्सोवा और नताल्या फिलिप्पोवा को धन्यवाद दिया; अध्ययन में सहायता के लिए - एंटोन अलेक्सेव, निकिता कुजनेत्सोव, आंद्रेई कुतुज़ोव, बोरिस ओरेखोव और मिखाइल पोपोव।