🌃 ⤵️ 📖 रूसी भाषा के वाक्य को पार्स करना 👩‍👦‍👦 🏑 👉🏽

यह लेख संदर्भ-मुक्त व्याकरण और एलआर-विश्लेषण एल्गोरिथ्म का उपयोग करके रूसी भाषा के वाक्य को पार्स करने की प्रक्रिया का वर्णन करता है।

प्राकृतिक भाषा प्रसंस्करण कृत्रिम बुद्धि और गणितीय भाषा विज्ञान की सामान्य दिशा है। यह कंप्यूटर विश्लेषण और प्राकृतिक भाषाओं के संश्लेषण की समस्याओं का अध्ययन करता है।

सामान्य तौर पर, प्राकृतिक भाषा के वाक्यों का विश्लेषण करने की प्रक्रिया इस प्रकार है: (1) वाक्यवाचक इकाइयों में वाक्यों को विभाजित करना - शब्द और वाक्यांश; (2) प्रत्येक इकाई के व्याकरणिक मापदंडों का निर्धारण; (3) इकाइयों के बीच वाक्यात्मक संबंध की परिभाषा। आउटपुट एक सार पार्सिंग ट्री है।

1. वाक्य रचना इकाइयों में बंटवारे

एक प्राकृतिक भाषा के वाक्य में शब्द रूप और मजबूत वाक्यांश होते हैं। किसी दिए गए शब्द के कई शब्द रूपों को एक प्रतिमान कहा जाता है।

उदाहरण के लिए

  "": [, , , , ,  ]

वाक्यांश - यौगिक संयोजन, विधेय या स्थिर भाव - परिवर्तन नहीं करते हैं और अर्थ की हानि के बिना छोटी इकाइयों में विघटित नहीं हो सकते हैं। इसके अलावा, एक शब्द से हमारा मतलब किसी भी वाक्य-रचना इकाई से है - एक शब्द रूप या एक वाक्यांश।

एक वाक्य में प्रत्येक शब्द एक ट्रिपल द्वारा निर्धारित किया जाता है:

शब्द प्रपत्र / शब्द स्ट्रिंग ("लिखा")
शब्द का सामान्य रूप ("लिखना")
व्याकरणिक मापदंडों का एक सेट (['वीआरबी', 'गाना', 'संगीत', 'ट्रान', 'ए' '))

इस प्रकार, वाक्य का टूटना " स्पष्ट रूप से, वह बैठक में नहीं आएगा " में निम्नलिखित रूप होंगे:

 [' ', '', '', '', '', '']  ' ' -  ,

2. व्याकरणिक मापदंडों की परिभाषा (व्याकरण)

एक व्याकरण एक व्याकरणिक श्रेणी का एक तत्व है; एक ही श्रेणी के विभिन्न व्याकरण परस्पर अनन्य होते हैं और इन्हें एक साथ व्यक्त नहीं किया जा सकता है। प्रत्येक शब्द के रूप में, हम सात ग्रामों के समूह को परिभाषित करते हैं:

 [  , , , , , ,  ]

एक स्रोत के रूप में, हम OpenCorpora शब्दकोश और इसके इंटरफ़ेस, pymorphy2 का उपयोग करेंगे। ग्राम में दिए गए सेट के लिए व्याकरण में एक नियम खोजने के लिए, हम उन्हें सामान्य रूप में प्रस्तुत करेंगे:

  '' [NOUN,plur,neut,accs] -> [NOUN,?numb,?per,?gend,accs,None,None]  '?' ,

3. शब्दों के बीच वाक्यात्मक संबंध की परिभाषा

शब्दों के बीच वाक्यात्मक संबंध निर्धारित करने के लिए, हम संदर्भ-मुक्त व्याकरण और LR विश्लेषण का उपयोग करेंगे।

व्याकरण और LR विश्लेषण

औपचारिक व्याकरण तथाकथित प्रस्तुतियों के रूप में एक भाषा का वर्णन करने का एक तरीका है। उदाहरण के लिए:

 a -> ab | ac

का अर्थ है नियम 'ए' स्पॉन 'अब' या 'एसी'।

गैर -वस्तुएं वे वस्तुएं हैं जो भाषा के किसी भी सार (वाक्य, सूत्र, आदि) को दर्शाती हैं। शब्द - व्याकरण के अनुरूप भाषा में प्रत्यक्ष रूप से मौजूद वस्तुएं और एक विशिष्ट, अपरिवर्तनीय अर्थ (अक्षर, शब्द, सूत्र, आदि)। प्रसंग-मुक्त व्याकरण वे व्याकरण हैं जिनमें सभी उत्पादों के बाएं-हाथ के हिस्से एकल-गैर-टर्मिनल हैं।

रूसी भाषा का वर्णन करने के लिए, हम घटकों के व्याकरण के सिद्धांत ( वाक्यांश संरचना व्याकरण ) का उपयोग करेंगे, जो दावा करता है कि किसी भी जटिल व्याकरणिक इकाई में दो सरल होते हैं और इकाइयों को काटना नहीं होता है, इसके तत्काल घटकों को कहा जाता है। निम्नलिखित घटक प्रतिष्ठित हैं:

(1) नाममात्र समूह (एनपी)

 NP[case='nomn'] -> N[case='nomn'] | ADJ[case='nomn'] NP[case='nomn'] | …

अर्थात्, नाममात्र संज्ञा वाक्यांश नाममात्र मामले में एक संज्ञा है या नाममात्र मामले में एक विशेषण + नाममात्र संज्ञा वाक्यांश या अन्य।

(2) मौखिक समूह (VP)

 VP[tran] -> V[tran] NP[case='ablt'] | ADJ VP[tran] | …

दूसरे शब्दों में, एक सकर्मक क्रिया समूह एक सकर्मक क्रिया + एक अमूर्त संज्ञा समूह या एक छोटा विशेषण + सकर्मक क्रिया समूह या कोई अन्य है।

(3) प्रीपोजिशनल ग्रुप (पीपी)

  PP -> PREP NP[case='datv'] | ...

एक प्रीपोज़ल समूह एक प्रीपोज़िशन + नाममात्र डाइवेटिव समूह या अन्य है।

(4) पूर्ण प्रस्ताव (एस)

 S -> NP[case='nomn'] VP[tran]

एक पूर्ण वाक्य मौजूद है अगर और केवल अगर संज्ञा और क्रिया समूह संख्या, व्यक्ति और लिंग में मेल खाते हैं।

  def agreement(self, node_left, node_right): ... if (numb1 and numb2): if (numb1 != numb2): return False; if (per1 and per2): if (per1 != per2): return False; if (gend1 and gend2): if (gend1 != gend2): return False; return True;

अधूरा वाक्य एक ऐसा वाक्य है जहाँ नाममात्र भाग छोड़ा जाता है। एक नियम के रूप में, ऐसे वाक्यों में क्रिया समूह एक अवैयक्तिक क्रिया द्वारा व्यक्त किया जाता है। उदाहरण के लिए, " मैं चलना चाहता हूं ," "यह हल्का हो रहा है ।" एक अण्डाकार वाक्य एक वाक्य है जहां क्रिया भाग को छोड़ दिया जाता है, इसे डैश द्वारा बदल दिया जाता है। उदाहरण के लिए, " पीठ के पीछे एक जंगल है। दाएं और बाएं दलदल हैं ।"

यह निर्धारित करने के लिए कि क्या यह वाक्य व्याकरण भाषा का है, हम LR विश्लेषण एल्गोरिदम का उपयोग करेंगे। इस एल्गोरिदम में नीचे से ऊपर (पत्तियों से जड़ तक) एक पार्सिंग ट्री का निर्माण शामिल है। एल्गोरिथ्म का मुख्य तत्व "ट्रांसफर-कनवल्शन" (अंग्रेजी पारी-घटाना ) की विधि है:

(1) हम इनपुट लाइन के पात्रों को पढ़ते हैं जब तक कि एक श्रृंखला नहीं होती है जो कुछ नियमों के दाईं ओर से मेल खाती है, स्टैक्ड (ट्रांसफर) में मिली चेन डालते हैं;
(2) व्याकरण (दृढ़ संकल्प) से नियम द्वारा मिली श्रृंखला को प्रतिस्थापित करें।

यदि सभी स्ट्रिंग चेन को लपेटा गया है, तो यह वाक्य व्याकरण की भाषा का है, और कम से कम एक पार्स ट्री मौजूद है।

लकड़ी

वाक्यात्मक कनेक्शन का प्रतिनिधित्व करने के लिए, वाक्य एक द्विआधारी पेड़ का उपयोग करता है, जहां पत्तियां शब्द (टर्मिनल) ग्राम के एक सेट के साथ होती हैं, और नोड्स नियम (preterminals) हैं। मूल वाक्य (गैर-टर्मिनल) है।

एक पेड़ के नोड को निम्नानुसार परिभाषित किया गया है:

 class Node: def __init__(self, word=None, tag=None, grammemes=None, leaf=False): self.word = word; #   self.tag = tag; #   - ,      self.grammemes = grammemes; #   self.leaf = leaf; self.l = None; self.r = None; self.p = None;

एक पेड़ का निर्माण पत्तियों से शुरू होता है, जिसे शब्दों या वाक्यांशों की एक स्ट्रिंग सौंपी जाती है, साथ ही साथ इसके व्याकरणों का एक सेट।

  def build(self, sent): for word in sent: new_node = Node(word[0], word[1], word[2], leaf=True) self.nodes.append(new_node)

अगला, LR विश्लेषण किया जाता है। प्रत्येक दृढ़ संकल्प एक सामान्य पूर्वज के तहत दो नोड्स या पत्तियों के मेल से मेल खाता है। पूर्वज नोड को एक पूर्व-निर्धारित टैग दिया जाता है जो व्याकरण के नियम से मेल खाता है, इसके अलावा, पूर्वज समूह के मुख्य सदस्य के व्याकरण को स्वीकार करता है, उदाहरण के लिए, क्रिया समूह V [ट्रॅन] PRCL (जैसे "" करना चाहते हैं ) के संकेत पारगमन क्रिया V [ट्रांस], और से लिया जाएगा। PRCL के एक कण से नहीं; और संज्ञा समूह में NP [case = 'nomn'] NP [case = 'gent'] (उदाहरण के लिए "बच्चों के पिता" ) संकेत संज्ञा से संज्ञा में लिए जाएंगे।

यह नोट करना महत्वपूर्ण है कि स्थापित आदेश में दृढ़ संकल्प होता है:

  def reduce(self): self.reduce_ADJ() #  self.reduce_NP() #   self.reduce_PP() #  self.reduce_VP() #  self.reduce_S() #

यह आदेश महत्वपूर्ण है क्योंकि यह प्रस्ताव के कुछ सदस्यों को "लापता" होने की संभावना को बाहर करता है। सबसे पहले, विशेषणों को एक साथ संशोधक (जैसे पागलपन से सुंदर ) के साथ बनाया जाता है, फिर नाममात्र समूह, पूर्वपद और अंत में मौखिक। उसके बाद, पूर्ण / अपूर्ण वाक्यों की तलाश है, यदि कोई नहीं हैं, तो पेड़ की जड़ नहीं होती है, और इसलिए वाक्य व्याकरण भाषा से संबंधित नहीं है।

एक पेड़ बनाने के एक सशर्त उदाहरण पर विचार करें:

 sent = "    " def build(self, sent): for word in sent: new_node = Node(word[0], word[1], word[2], leaf=True) self.nodes.append(new_node)

 NP[case='nomn'] -> NPRO[case='nomn'] NP[case='accs'] -> N[case='accs'] NP[case='datv'] -> ADJ[case='datv'] NP[case='datv']

 VP[tran] -> V[tran] NP[case='accs']

 VP[tran] -> VP[tran] NP[case='datv']

 S -> NP[case='nomn'] VP[tran]

एक दो-भाग वाक्य को पार्स करने का एक विशिष्ट उदाहरण:

 import analyzer parser = analyzer.Parser() sent = "  ,     ." t = parser.parse(sent) t[0].display() S NP[case='nomn']  ['NOUN', 'sing', 'femn', 'nomn'] VP[tran] VP[tran]  ['VERB', 'sing', '3per', 'tran', 'pres'] NP[case='datv']  ['NOUN', 'sing', 'datv'] S NP[case='nomn']  ['NOUN', 'sing', 'femn', 'nomn'] VP[tran] PP PREP  ['PREP'] NP[case='ablt']  ['NOUN', 'sing', 'femn', 'ablt'] VP[tran]  ['VERB', 'sing', '3per', 'tran', 'pres']

समस्याओं

प्राकृतिक भाषा अस्पष्ट है, इसकी समझ कई कारकों पर निर्भर करती है - भाषा की व्याकरणिक संरचना की विशेषताओं पर, राष्ट्रीय संस्कृति पर, स्पीकर पर, आदि। हम मशीन भाषा प्रसंस्करण की मुख्य समस्याओं को सूचीबद्ध करते हैं।

अनाचार का प्रकटीकरण। एक जीवित व्यक्ति सामान्य ज्ञान और संदर्भ के आधार पर अनाचार को समझता है, लेकिन एक कंप्यूटर के लिए यह स्पष्ट रूप से हमेशा आसान नहीं होता है।
समरूपता भाषिक इकाइयों की ध्वनि और वर्तनी में एक संयोग है, जिनके अर्थ एक दूसरे से संबंधित नहीं हैं। एक समाधान संभाव्य तरीके हैं। वाक्य में " मुझे यह अच्छी तरह से पता है, " संभावना है कि " यह " एक सर्वनाम है और एक कण अधिक नहीं होगा। इस तरह के तरीकों के लिए पर्याप्त रूप से बड़े बाड़े की आवश्यकता होती है।
शब्दों का मुक्त क्रम इस तथ्य की ओर जाता है कि वाक्य की व्याख्या अस्पष्ट हो सकती है। उदाहरण के लिए, " चेतना का निर्धारण " होना - क्या निर्धारित करता है? रूसी में, मुक्त शब्द क्रम को विकसित आकृति विज्ञान, सेवा शब्द और विराम चिह्न द्वारा मुआवजा दिया जाता है, लेकिन कंप्यूटर के लिए ज्यादातर मामलों में यह एक अतिरिक्त समस्या प्रस्तुत करता है।
सभी लोग सही तरीके से नहीं लिखते हैं। नेट पर, लोग संक्षिप्ताक्षर, शब्दविज्ञान, दीर्घवृत्त और अन्य चीजों का उपयोग करते हैं, जो साहित्यिक आदर्श के विपरीत हो सकते हैं। इस वजह से, संदर्भ-मुक्त व्याकरण और शब्दकोशों का उपयोग हमेशा संभव नहीं होता है।

निष्कर्ष

परियोजना उपयोग और संपादन के लिए उपलब्ध है । इसमें स्वयं विश्लेषक, पार्स ट्री, साथ ही रूसी व्याकरण और रूसी भाषा का व्याकरण और यौगिक यूनियनों का एक छोटा शब्दकोष और विधेय है जो ओपनकोर्पोरा शब्दकोश में नहीं है। फिलहाल, लंबे जटिल वाक्यों के लिए, पार्सर 3 या अधिक पेड़ों को ढूंढ सकता है, इस समस्या को हल करने के लिए व्याकरण में परिवर्तन किए जाते हैं, और यह भी संभाव्य तरीकों का उपयोग करने की योजना है।