खरोंच से स्टैनफोर्ड एनएलपी के साथ पाठ से निकाय निकाले

यह लेख उन लोगों के लिए है, जिन्होंने कभी स्टैनफोर्ड एलईपीपी के साथ काम नहीं किया है और इसका अध्ययन करने और इसे जल्द से जल्द लागू करने की आवश्यकता के साथ सामना किया है।

यह सॉफ्टवेयर काफी आम है, और, विशेष रूप से, हमारी कंपनी - बाल्टइनफो.कॉम - इस कार्यक्रम का उपयोग करती है।

सबसे पहले आपको एक साधारण बात समझने की जरूरत है: स्टैनफोर्ड एनएलपी शब्दों के उच्चारण के सिद्धांत पर काम करता है, यानी, एक या एक से अधिक एनोटेशन, जैसे कि पीओएस (भाषण का हिस्सा - भाषण का हिस्सा), एनईआर (नामांकित-एंटिटी पहचानना - नामांकित इकाई), और आदि

एक शुरुआती व्यक्ति जो पहली बार देखता है, जब वह " त्वरित शुरुआत " अनुभाग में स्टैनफोर्ड एनएलपी वेबसाइट पर जाता है, वह निम्न डिज़ाइन है:

Properties props = new Properties(); props.setProperty("annotators", "tokenize,ssplit,pos,lemma,ner,regexner,parse,depparse,coref"); StanfordCoreNLP pipeline = new StanfordCoreNLP(props); // create a document object CoreDocument document = new CoreDocument(text); // annnotate the document pipeline.annotate(document); 

यहां स्टैनफोर्डकॉरएनएलपी एक संदेशवाहक है, जिसके इनपुट पर हमारा टेक्स्ट कोरडॉन्जिमेंट ऑब्जेक्ट में प्री-पैक्ड है। स्टैनफोर्डकॉरएनएलपी, यह पूरी संरचना में सबसे महत्वपूर्ण और अक्सर उपयोग की जाने वाली वस्तु है, जिसके साथ सभी मुख्य कार्य किए जाते हैं।

सबसे पहले, हम स्टैनफोर्डकोरएनएलपी में पैरामीटर सेट करते हैं और हमें उन कार्यों के कार्यान्वयन का संकेत देते हैं जिनकी हमें आवश्यकता है। इसके अलावा, इन मापदंडों के सभी संभावित संयोजन इस लिंक पर आधिकारिक वेबसाइट पर पाए जा सकते हैं।

• tokenize - तदनुसार, tokenization
• ssplit - एक वाक्य में विभाजित करना
• स्थिति - भाषण के एक हिस्से की परिभाषा
• लेम्मा - प्रत्येक शब्द को उसके प्रारंभिक रूप में जोड़ना
• ner - नामित संस्थाओं की परिभाषा, जैसे "संगठन", "फेस", आदि।
• रेगेक्सनर - नियमित अभिव्यक्तियों का उपयोग करके नामित संस्थाओं को परिभाषित करना
• पार्स - शब्दार्थ के अनुसार प्रत्येक शब्द का विश्लेषण (लिंग, संख्या, और इसी तरह)
• depparse - एक वाक्य में शब्दों के बीच पार्स सिंटैक्स निर्भरता
• coref- पाठ में एक ही नामित इकाई के संदर्भ के लिए खोज, उदाहरण के लिए, "मैरी" और "वह"

यहाँ एक उदाहरण है कि एनोटेटर्स (पार्स और डेपर्स) एक साथ कैसे काम करते हैं:



यदि आप टोकन के बारे में एनोटेशन को नहीं समझते हैं, तो इन साइटों पर आपको उनके अर्थ मिलेंगे: वाक्यों में कनेक्शन के अर्थ , भाषण के कुछ हिस्सों के अर्थ ।

इन मापदंडों में से प्रत्येक के लिए, आप "एनोटेटर्स" अनुभाग में यहां अधिक फाइन-ट्यूनिंग के लिए अतिरिक्त झंडे पा सकते हैं।

इन निर्माणों को सेट किया जाता है यदि आप अंतर्निहित स्टैनफोर्ड एनएलपी मॉडल का उपयोग करना चाहते हैं, लेकिन आप उन्हें मैन्युअल रूप से एडऑनोटेटर (एनोटेटर ...) विधि का उपयोग करके या स्टैनफोर्ड कॉरेंबर ऑब्जेक्ट बनाने से पहले मापदंडों को फिर से सेट करके भी सेट कर सकते हैं।

अब आप पाठ से नामित संस्थाओं को कैसे निकाल सकते हैं, इसके बारे में। ऐसा करने के लिए, स्टैनफोर्ड एनएलपी में मॉडल के माध्यम से टोकन को चिह्नित करने के लिए तीन अंतर्निहित नियमित अभिव्यक्ति-आधारित कक्षाएं और एक वर्ग है।

नियमित अभिव्यक्ति कक्षाएं:

• टोकनरेजएक्सनोट्नोट - एनोटेटर जो नियमों द्वारा काम करता है - सीक्वेंसमैचट्रूल्स ।
  इन नियमों पर निर्मित, इसके लिए मानचित्रण के एक उदाहरण पर विचार करें।
  
  

   ner = { type: "CLASS", value: "edu.stanford.nlp.ling.CoreAnnotations$NamedEntityTagAnnotation" } $EMAIL = "/.*([A-z0-9-]+?)(@)([A-z0-9-]+?).*/" { ruleType: "tokens", pattern: (([]) ($EMAIL)), action: (Annotate($0, ner, "MAIL")), priority:0 } 

  
  पहली पंक्ति इंगित करती है कि हम इस टेम्पलेट में किस प्रकार के टैग भरेंगे।
  दूसरे में, हम एक चर बनाते हैं, जो कि नियमों के अनुसार "$" वर्ण से शुरू होना चाहिए और पंक्ति की शुरुआत में होना चाहिए।
  
  उसके बाद, एक ब्लॉक बनाएं जिसमें हम नियमों के प्रकार निर्धारित करते हैं। फिर तुलना के लिए एक टेम्पलेट (हमारे मामले में, हम कहते हैं कि हमें "[]" की आवश्यकता है - कोई भी टोकन जिसके बाद हमारा चर EMAIL आता है। उसके बाद हम कार्रवाई सेट करते हैं, हमारे मामले में हम टोकन को एनोटेट करना चाहते हैं।
  
  कृपया ध्यान दें कि उदाहरण में, "[]" और "$ EMAIL" को कोष्ठक में संलग्न किया गया है क्योंकि $ 0 इंगित करता है कि हम किस कैप्चर समूह को मिले हुए पैटर्न से हाइलाइट करना चाहते हैं, जबकि कैप्चर ग्रुप का अर्थ कोष्ठकों में संलग्न समूह से है। यदि आप 0 सेट करते हैं, तो वाक्यांश "sobaka@mail.ru मेल" में सभी टोकन को "मेल" के रूप में एनोटेट किया जाएगा। यदि आप 1 सेट करते हैं (अर्थात, पहला कैप्चर ग्रुप), तो केवल "मेल" शब्द एनोटेट होगा; यदि 2, तो केवल sobaka@mail.ru।
  
  ऐसी स्थितियों के लिए, जहां दो नियमों के अनुसार, एक ही टोकन को अलग-अलग परिभाषित किया जा सकता है, आप दूसरे के सापेक्ष नियम की प्राथमिकता निर्धारित कर सकते हैं। उदाहरण के लिए, निम्नलिखित वाक्यांश - "हाउस $ 25" के मामले में, दो परस्पर विरोधी नियम हो सकते हैं, जिनमें से एक के अनुसार संख्या 25 को घर की संख्या के रूप में निर्धारित किया जाएगा, और दूसरे के अनुसार - इसके मूल्य के रूप में।
• RegexNERAnnotator - यह एनोटेटर RegexNERSequenceClassifier का उपयोग करके काम करता है।
  
  उसके लिए मैपिंग इस प्रकार है
  
  

   regex1 TYPE overwritableType1,Type2... priority 

  
  यहाँ regex1 एक सामान्य अभिव्यक्ति है जो TokenSequencePattern के प्रारूप में है।
  
  TYPE नामित इकाई का नाम है।
  overwritableType1, Type2 ... - प्रकार जो हम एक विवादास्पद स्थिति के मामलों में बदल सकते हैं।
  प्राथमिकता - ऊपर वर्णित विवादों के लिए प्राथमिकता।
  कृपया ध्यान दें कि इस मानचित्रण में सभी स्तंभों को टैब द्वारा अलग किया जाना चाहिए।
• TokensRegexNERAnnotator
  यह एनोटेटर पिछले एक से अलग है कि यह नियमित अभिव्यक्तियों के लिए टोकनरगेक्स लाइब्रेरी का उपयोग करता है, वही पहला एनोटेटर है, जो आपको मिलान के लिए अधिक लचीले नियमों का उपयोग करने की अनुमति देता है; एनईआर टैग के अलावा अन्य टैग मूल्यों को रिकॉर्ड करने में सक्षम होने के साथ-साथ।
  इसके लिए मानचित्रण RegexNERAnnotator के नियमों के अनुसार संकलित किया गया है
  

NERClassifierCombiner का उपयोग करके एक मॉडल के माध्यम से पाठ को चिह्नित करना
इस वर्ग का उपयोग करने के लिए, आपको पहले अपने मॉडल को बनाना या प्रशिक्षित करना होगा।

यह कैसे किया जा सकता है यहां पाया जा सकता है ;
आपके द्वारा मॉडल को प्रशिक्षित करने के बाद, यह केवल NERClassifierCombiner बनाने के लिए बना रहता है, जिसमें मॉडल के लिए पथ को दर्शाया जाता है, और वर्गीकृत विधि को कॉल किया जाता है।

 NERClassifierCombiner classifier = new NERClassifierCombiner(false, false, serialized_model); String text = "Some lucky people working in BaltInfoCom Org."; List<List<CoreLabel>> out = classifier.classify(text); 

एनोटेटर्स की एक पूरी सूची यहां पाई जा सकती है ।

उपरोक्त के अलावा, यदि आपको रूसी भाषा के लिए स्टैनफोर्ड एनएलपी का उपयोग करने की आवश्यकता है, तो मैं आपको यहां आने की सलाह दे सकता हूं। भाषण के हिस्सों (पॉज़-टैगर) की पहचान करने और वाक्यों में संबंधों की पहचान (निर्भरता पार्सर) के लिए मॉडल हैं।

वहां दर्शाए गए टैग के प्रकार:
रशियन- ud-pos.tagger सिर्फ एक टैगर है,
रूसी- ud-mfmini.tagger - रूपात्मक विशेषताओं की मुख्य सूची के साथ,
रूसी- ud-mf.tagger - रूपात्मक विशेषताओं की एक पूरी सूची के साथ, मानचित्रण का एक उदाहरण जिसके लिए यहां देखा जा सकता है ।