NLP। मूल बातें। प्रौद्योगिकी। व्यक्तिगत विकास। भाग 2: एनईआर

एनएलपी की मूल बातें पर लेख का पहला भाग यहां पढ़ा जा सकता है । आज हम सबसे लोकप्रिय एनएलपी कार्यों में से एक के बारे में बात करेंगे - नामांकित-इकाई मान्यता (एनईआर) - और इस समस्या के समाधान की वास्तुकला के बारे में विस्तार से विश्लेषण करें।



एनईआर का कार्य पाठ में संस्थाओं के फैलाव को उजागर करना है (अवधि पाठ का एक निरंतर टुकड़ा है)। मान लें कि एक समाचार पाठ है, और हम इसमें संस्थाओं को उजागर करना चाहते हैं (कुछ पूर्व-निर्धारित सेट - उदाहरण के लिए, व्यक्ति, स्थान, संगठन, दिनांक, और इसी तरह)। एनईआर का कार्य यह समझना है कि पाठ का हिस्सा " 1 जनवरी, 1997 " तारीख है, " कोफी अन्नान " व्यक्ति है, और " यूएन " संगठन है।


संस्थाओं के नाम क्या हैं? पहली बार, क्लासिक सेटिंग, जो 1995 में MUC-6 सम्मेलन में तैयार की गई थी, ये व्यक्ति, स्थान और संगठन हैं। तब से, कई उपलब्ध पैकेज दिखाई दिए, जिनमें से प्रत्येक के पास नामित संस्थाओं का अपना सेट है। आमतौर पर, व्यक्तियों, स्थानों और संगठनों में नए निकाय प्रकार जोड़े जाते हैं। उनमें से सबसे आम संख्यात्मक (तिथियां, मौद्रिक मात्रा) हैं, साथ ही साथ विविध इकाइयां (विविध नाम से अन्य नाम वाली इकाइयां; एक उदाहरण iPhone 6 है)।

आपको एनईआर समस्या को हल करने की आवश्यकता क्यों है

यह समझना आसान है, भले ही हम पाठ में लोगों, स्थानों और संगठनों की पहचान करने में सक्षम हों, लेकिन इससे ग्राहकों के बीच बहुत रुचि पैदा होने की संभावना नहीं है। हालांकि कुछ व्यावहारिक अनुप्रयोग, निश्चित रूप से, शास्त्रीय सेटिंग में समस्या है।

परिदृश्य में से एक जब शास्त्रीय निर्माण में समस्या का समाधान अभी भी आवश्यक हो सकता है, यह असंरचित डेटा की संरचना है। मान लें कि आपके पास किसी प्रकार का पाठ (या ग्रंथों का एक सेट) है, और इससे प्राप्त डेटा को डेटाबेस (तालिका) में दर्ज किया जाना चाहिए। क्लासिक नामित संस्थाएं ऐसी तालिका की पंक्तियों के अनुरूप हो सकती हैं या कुछ कोशिकाओं की सामग्री के रूप में काम कर सकती हैं। तदनुसार, तालिका को सही ढंग से भरने के लिए, आपको पहले उस पाठ में डेटा का चयन करना होगा जिसे आप इसमें दर्ज करेंगे (आमतौर पर इसके बाद एक और कदम है - पाठ में संस्थाओं की पहचान करना, जब हम समझते हैं कि संयुक्त राष्ट्र और संयुक्त राष्ट्र का विस्तार है "एक ही संगठन का संदर्भ लें; हालाँकि, पहचान या इकाई को जोड़ने का कार्य एक और कार्य है, और हम इस बारे में इस पोस्ट में विस्तार से बात नहीं करेंगे)।

हालांकि, कई कारण हैं कि एनईआर सबसे लोकप्रिय एनएलपी कार्यों में से एक क्यों है।

सबसे पहले, नामित संस्थाओं को निकालना पाठ को "समझने" की ओर एक कदम है। यह दोनों का स्वतंत्र मूल्य हो सकता है, और अन्य एनएलपी कार्यों को बेहतर ढंग से हल करने में मदद करता है।

इसलिए, अगर हम जानते हैं कि पाठ में संस्थाओं को कहां हाइलाइट किया गया है, तो हम उस पाठ के टुकड़े ढूंढ सकते हैं जो किसी कार्य के लिए महत्वपूर्ण हैं। उदाहरण के लिए, हम केवल उन पैराग्राफों का चयन कर सकते हैं जहाँ एक निश्चित प्रकार की इकाइयाँ सामने आती हैं, और फिर उनके साथ ही काम करती हैं।

मान लीजिए कि आपको एक पत्र मिलता है, और केवल उस हिस्से का एक स्निपेट बनाना अच्छा होगा, जहां कुछ उपयोगी हो, और न केवल " हैलो, इवान पेट्रोविच "। यदि आप नामित संस्थाओं को अलग कर सकते हैं, तो आप पत्र के उस हिस्से को दिखा कर स्निपेट को स्मार्ट बना सकते हैं जहां हमारे लिए ब्याज की इकाइयाँ हैं (और केवल पत्र का पहला वाक्य नहीं दिखाते हैं, जैसा कि अक्सर होता है)। या आप केवल विश्लेषकों की सुविधा के लिए पत्र के आवश्यक भागों (या, सीधे, हमारे लिए महत्वपूर्ण हैं) को उजागर कर सकते हैं।

इसके अलावा, संस्थाएं कठोर और विश्वसनीय टकराव हैं, उनका चयन कई कार्यों के लिए महत्वपूर्ण हो सकता है। मान लीजिए कि आपके पास एक नामित इकाई के लिए एक नाम है और, जो कुछ भी है, सबसे अधिक संभावना है कि यह निरंतर है, और इसके साथ सभी कार्यों को एक ही ब्लॉक के साथ प्रदर्शन करने की आवश्यकता है। उदाहरण के लिए, एक इकाई के नाम को एक इकाई के नाम में अनुवाद करें। आप "Pyaterochka Shop" का फ्रेंच में एक ही टुकड़े में अनुवाद करना चाहते हैं, और कई टुकड़ों में विभाजित नहीं हैं जो एक दूसरे से संबंधित नहीं हैं। कोलोकेशन का पता लगाने की क्षमता कई अन्य कार्यों के लिए भी उपयोगी है - उदाहरण के लिए, वाक्यात्मक पार्सिंग के लिए।

एनईआर समस्या को हल किए बिना, कई एनएलपी समस्याओं के समाधान की कल्पना करना कठिन है, उदाहरण के लिए, सर्वनाम अनाहार या प्रश्न-उत्तर प्रणाली के निर्माण का समाधान। सर्वनाम अनाहार हमें पाठ के किस तत्व को समझने की अनुमति देता है। उदाहरण के लिए, आइए हम " एक सफेद घोड़े पर आकर्षक सरपट दौड़ते हुए " पाठ का विश्लेषण करना चाहते हैं । राजकुमारी उसे पूरा करने के लिए दौड़ा, और उसे चूमा। " हम शब्द "आकर्षक" प्रकृति व्यक्ति की पहचान की है, तो कार बहुत समझना आसान हो सकता है, कि राजकुमारी की संभावना एक घोड़ा और Charminga राजकुमार चूमा नहीं होंगे।

अब हम एक उदाहरण देते हैं कि नामित संस्थाओं का आवंटन सवाल-जवाब प्रणालियों के निर्माण में कैसे मदद कर सकता है। यदि आप सवाल पूछते हैं कि "आपके पसंदीदा खोज इंजन में " एम्पायर स्ट्राइक्स बैक "फिल्म में डार्थ वाडर की भूमिका किसने निभाई , तो एक उच्च संभावना के साथ आपको सही उत्तर मिलेगा। यह केवल नामित संस्थाओं को अलग करने के द्वारा किया जाता है: हम संस्थाओं (फिल्म, भूमिका, आदि) का चयन करते हैं, समझते हैं कि हमसे क्या पूछा जाता है, और फिर डेटाबेस में उत्तर की तलाश करें।

संभवतः सबसे महत्वपूर्ण विचार जिसके कारण एनईआर कार्य इतना लोकप्रिय है: समस्या कथन बहुत लचीला है। दूसरे शब्दों में, कोई भी हमें स्थानों, लोगों और संगठनों को बाहर करने के लिए मजबूर नहीं करता है। हम पाठ के किसी भी निरंतर टुकड़ों का चयन कर सकते हैं जिनकी हमें आवश्यकता है जो कि शेष पाठ से कुछ अलग हैं। नतीजतन, आप ग्राहक से आने वाले एक विशिष्ट व्यावहारिक कार्य के लिए संस्थाओं का अपना सेट चुन सकते हैं, इस सेट के साथ ग्रंथों के शरीर को चिह्नित कर सकते हैं और मॉडल को प्रशिक्षित कर सकते हैं। ऐसा परिदृश्य सर्वव्यापी है, और यह एनईआर को उद्योग में सबसे अक्सर प्रदर्शन किए गए एनएलपी कार्यों में से एक बनाता है।

मैं विशिष्ट ग्राहकों से ऐसे मामलों के कुछ उदाहरण देता हूँ, जिनके समाधान में मैंने भाग लिया।

यहाँ पहला है: आपको चालान (मनी ट्रांसफर) का एक सेट देना है। प्रत्येक इनवॉइस में एक पाठ विवरण होता है, जिसमें स्थानांतरण के बारे में आवश्यक जानकारी होती है (जो, किसने, कब, क्या और किस कारण से भेजी है)। उदाहरण के लिए, कंपनी X ने ऐसी और इस तरह की तारीख के लिए कंपनी Y को $ 10 स्थानांतरित किया। पाठ काफी औपचारिक है, लेकिन जीवित भाषा में लिखा गया है। बैंकों ने ऐसे लोगों को विशेष रूप से प्रशिक्षित किया है जो इस पाठ को पढ़ते हैं और फिर उसमें निहित जानकारी को एक डेटाबेस में दर्ज करते हैं।

हम डेटाबेस में तालिका के स्तंभों के अनुरूप संस्थाओं का एक सेट (कंपनी के नाम, हस्तांतरण की राशि, इसकी तिथि, स्थानांतरण का प्रकार, आदि) का चयन कर सकते हैं और सीख सकते हैं कि स्वचालित रूप से उन्हें कैसे चुनना है। इसके बाद, यह केवल तालिका में चयनित संस्थाओं में प्रवेश करने के लिए बना हुआ है, और जो लोग पहले ग्रंथों को पढ़ते हैं और डेटाबेस में जानकारी दर्ज करते हैं वे अधिक महत्वपूर्ण और उपयोगी कार्य करने में सक्षम होंगे।

दूसरा उपयोगकर्ता मामला यह है: आपको ऑनलाइन स्टोर से आदेश के साथ पत्रों का विश्लेषण करने की आवश्यकता है। ऐसा करने के लिए, आपको आदेश संख्या (ताकि इस आदेश से संबंधित सभी पत्रों को चिह्नित किया जा सके या एक अलग फ़ोल्डर में रखा जा सके), साथ ही अन्य उपयोगी जानकारी - स्टोर का नाम, सामानों की सूची, जो ऑर्डर किए गए थे, चेक की राशि आदि। - आदेश संख्या, स्टोर नाम, आदि - नामित संस्थाओं पर विचार किया जा सकता है, और यह सीखना भी आसान है कि उन तरीकों का उपयोग करके उन्हें कैसे भेद किया जाए जो अब हम विश्लेषण करेंगे।

यदि एनईआर इतना उपयोगी है, तो इसका उपयोग हर जगह क्यों नहीं किया जाता है?

एनईआर कार्य को हमेशा हल क्यों नहीं किया जाता है और वाणिज्यिक ग्राहक अभी भी इसके समाधान के लिए सबसे छोटे पैसे का भुगतान करने के लिए तैयार नहीं हैं? ऐसा लगता है कि सब कुछ सरल है: यह समझने के लिए कि पाठ के किस टुकड़े को उजागर करना है, और इसे उजागर करना है।

लेकिन जीवन में, सब कुछ इतना आसान नहीं है, विभिन्न कठिनाइयां पैदा होती हैं।

क्लासिक जटिलता जो हमें एनएलपी समस्याओं की एक किस्म को हल करने में रहने से रोकती है, भाषा में सभी प्रकार की अस्पष्टता है। उदाहरण के लिए, बहुपत्नी शब्द और समरूपता ( भाग 1 में उदाहरण देखें)। एक अलग तरह का गृहकार्य है जो सीधे एनईआर कार्य से संबंधित है - पूरी तरह से अलग-अलग संस्थाओं को एक ही शब्द कहा जा सकता है। उदाहरण के लिए, हमारे पास " वाशिंगटन " शब्द है। यह क्या है व्यक्ति, शहर, राज्य, स्टोर का नाम, कुत्ते का नाम, वस्तु, कुछ और? एक विशिष्ट इकाई के रूप में पाठ के इस खंड को उजागर करने के लिए, किसी को बहुत कुछ ध्यान में रखना होगा - स्थानीय संदर्भ (पिछले पाठ के बारे में क्या था), वैश्विक संदर्भ (दुनिया के बारे में ज्ञान)। एक व्यक्ति इस सब को ध्यान में रखता है, लेकिन ऐसा करने के लिए मशीन सिखाना आसान नहीं है।

दूसरी कठिनाई तकनीकी है, लेकिन इसे कम मत समझो। कोई फर्क नहीं पड़ता कि आप सार को कैसे परिभाषित करते हैं, सबसे अधिक संभावना है कि कुछ सीमा रेखा और कठिन मामले होंगे - जब आपको सार को उजागर करने की आवश्यकता होती है, जब आपको इकाई अवधि में क्या शामिल करने की आवश्यकता नहीं होती है, और क्या नहीं, आदि (बेशक, अगर हमारा सार है ईमेल के रूप में थोड़ा सा परिवर्तनशील नहीं है; हालाँकि, आप आमतौर पर ऐसी तुच्छ संस्थाओं को तुच्छ तरीकों से अलग कर सकते हैं - एक नियमित अभिव्यक्ति लिखें और किसी भी तरह की मशीन सीखने के बारे में न सोचें)।

मान लीजिए, उदाहरण के लिए, हम दुकानों के नामों को उजागर करना चाहते हैं।

पाठ में " व्यावसायिक धातु डिटेक्टरों की दुकान आपका स्वागत करती है ", हम लगभग निश्चित रूप से शब्द "दुकान" को अपने सार में शामिल करना चाहते हैं - यह स्पष्ट रूप से नाम का हिस्सा है।

एक अन्य उदाहरण है " आपका स्वागत है वोल्होनका प्रेस्टीज द्वारा, जो आपके पसंदीदा ब्रांड स्टोर सस्ती कीमत पर है ।" संभवतः, शब्द "स्टोर" को एनोटेशन में शामिल नहीं किया जाना चाहिए - यह स्पष्ट रूप से नाम का हिस्सा नहीं है, लेकिन बस इसका वर्णन है। इसके अलावा, यदि आप इस शब्द को नाम में शामिल करते हैं, तो आपको शब्द "- आपका पसंदीदा" और यह भी शामिल होना चाहिए, शायद, मैं ऐसा बिल्कुल नहीं करना चाहता।

तीसरा उदाहरण: "निमो का पालतू स्टोर आपको लिखता है। " यह स्पष्ट नहीं है कि "पालतू जानवर की दुकान" नाम का हिस्सा है या नहीं। इस उदाहरण में, ऐसा लगता है कि कोई भी विकल्प पर्याप्त होगा। हालांकि, यह महत्वपूर्ण है कि हमें इस विकल्प को बनाने और मार्करों के निर्देशों में इसे ठीक करने की आवश्यकता है, ताकि सभी ग्रंथों में इस तरह के उदाहरण समान रूप से चिह्नित किए जाएं (यदि ऐसा नहीं किया जाता है, तो मशीन सीखना अनिवार्य रूप से मार्कअप में विरोधाभासों के कारण गलतियां करना शुरू कर देगा)।

ऐसे कई सीमावर्ती उदाहरण हैं, और यदि हम चाहते हैं कि अंकन सुसंगत हो, तो उन सभी को मार्करों के निर्देशों में शामिल करना होगा। यहां तक ​​कि अगर उदाहरण स्वयं सरल हैं, तो उन्हें ध्यान में रखा जाना चाहिए और गणना की जानी चाहिए, और यह निर्देश को बड़ा और जटिल बना देगा।

खैर, निर्देश जितना जटिल होगा, वहां आपको अधिक योग्य मार्करों की आवश्यकता होगी। यह एक बात है जब मुंशी को यह निर्धारित करने की आवश्यकता होती है कि पत्र आदेश का पाठ है या नहीं (हालांकि यहां सूक्ष्मताएं और सीमा मामले हैं), और यह एक और बात है जब मुंशी को 50-पेज के निर्देशों को पढ़ने की जरूरत है, विशिष्ट संस्थाओं को ढूंढें, समझें कि क्या शामिल करना है एनोटेशन और क्या नहीं।

कुशल मार्कर महंगे हैं, और वे आमतौर पर बहुत जल्दी काम नहीं करते हैं। आप निश्चित रूप से पैसा खर्च करेंगे, लेकिन यह बिल्कुल भी नहीं है कि आपको सही मार्कअप मिल जाए, क्योंकि यदि निर्देश जटिल हैं, तो भी एक योग्य व्यक्ति गलती कर सकता है और कुछ गलत समझ सकता है। इससे निपटने के लिए, अलग-अलग लोगों द्वारा एक ही टेक्स्ट के कई मार्कअप का उपयोग किया जाता है, जो मार्कअप की कीमत को बढ़ाता है और इसके लिए समय तैयार किया जाता है। इस प्रक्रिया से बचना या गंभीरता से इसे कम करना भी काम नहीं करेगा: सीखने के लिए, आपको उचित आकार के उच्च-गुणवत्ता वाले प्रशिक्षण सेट की आवश्यकता है।

ये दो मुख्य कारण हैं कि एनईआर ने अभी तक दुनिया पर विजय प्राप्त नहीं की है और क्यों मंगल पर अभी भी सेब के पेड़ नहीं उगते हैं।

कैसे समझें कि क्या एनईआर समस्या को गुणवत्तापूर्ण तरीके से हल किया गया है

मैं आपको उन मैट्रिक्स के बारे में थोड़ा बताऊंगा, जिनका उपयोग लोग NER समस्या के समाधान की गुणवत्ता, और मानक मामलों के बारे में मूल्यांकन करने के लिए करते हैं।

हमारे कार्य के लिए मुख्य मीट्रिक एक सख्त एफ-माप है। यह क्या है समझाएँ।

आइए हम एक परीक्षण मार्कअप (हमारी प्रणाली के काम का परिणाम) और एक मानक (समान ग्रंथों का सही मार्कअप) करें। तब हम दो मैट्रिक्स गिन सकते हैं - सटीकता और पूर्णता। सटीकता सही सकारात्मक संस्थाओं का अंश है (यानी पाठ में हमारे द्वारा चयनित इकाइयां, जो मानक में भी मौजूद हैं), हमारे सिस्टम द्वारा चयनित सभी संस्थाओं के सापेक्ष। और पूर्णता मानक में मौजूद सभी संस्थाओं के संबंध में वास्तविक सकारात्मक संस्थाओं का अंश है। एक बहुत ही सटीक, लेकिन अपूर्ण क्लासिफायरियर का एक उदाहरण एक क्लासिफायरियर है जो पाठ में एक सही वस्तु का चयन करता है और कुछ नहीं। एक बहुत ही पूर्ण, लेकिन आम तौर पर गलत वर्गीकरण का एक उदाहरण एक क्लासिफायरियर है जो पाठ के किसी भी खंड पर एक इकाई का चयन करता है (इस प्रकार, सभी मानक संस्थाओं के अलावा, हमारा क्लासिफायरियर भारी मात्रा में कचरा आवंटित करता है)।

एफ-माप सटीकता और पूर्णता का हार्मोनिक मतलब है, एक मानक मीट्रिक है।

जैसा कि हमने पिछले भाग में बताया था, मार्कअप बनाना महंगा है। इसलिए, मार्कअप के साथ बहुत अधिक सुलभ इमारतें नहीं हैं।

अंग्रेजी भाषा के लिए कुछ विविधता है - लोकप्रिय सम्मेलन हैं जहां लोग एनईआर समस्या को हल करने में प्रतिस्पर्धा करते हैं (और प्रतियोगिताओं के लिए मार्कअप बनाया जाता है)। ऐसे सम्मेलनों के उदाहरण जिन पर उनके नाम निकाय बनाए गए थे, वे हैं MUC, TAC, CoNLL। इन सभी मामलों में लगभग विशेष रूप से समाचार ग्रंथ शामिल हैं।

मुख्य शरीर जिस पर एनईआर समस्या को हल करने की गुणवत्ता का मूल्यांकन किया जाता है, वह सीओएनएलएल 2003 का मामला है (यहां खुद मामले का लिंक है , यहां इसके बारे में एक लेख है )। लगभग 300 हजार टोकन हैं और 10 हजार तक इकाइयां हैं। अब सोता-सिस्टम (कला की स्थिति - अर्थात्, इस समय सबसे अच्छे परिणाम) इस मामले पर 0.93 के आदेश का एक एफ-माप दिखाते हैं।

रूसी भाषा के लिए, सब कुछ बहुत खराब है। एक सार्वजनिक निकाय है ( FactRuEval 2016 , यहां इसके बारे में एक लेख है, यहां हैबे पर एक लेख है ), और यह बहुत छोटा है - केवल 50 हजार टोकन हैं। इस मामले में, मामला काफी विशिष्ट है। विशेष रूप से, LocOrg (एक संगठनात्मक संदर्भ में स्थान) के बजाय विवादास्पद सार मामले में बाहर खड़ा है, जो दोनों संगठनों और स्थानों के साथ भ्रमित है, जिसके परिणामस्वरूप उत्तरार्द्ध के चयन की गुणवत्ता इससे कम हो सकती है।

एनईआर समस्या को कैसे हल करें

वर्गीकरण समस्या के लिए एनईआर समस्या को कम करना

इस तथ्य के बावजूद कि इकाइयां अक्सर क्रियाशील होती हैं, आमतौर पर एनईआर कार्य को टोकन स्तर पर वर्गीकरण की समस्या के लिए कम किया जाता है, अर्थात, प्रत्येक टोकन कई संभावित वर्गों में से एक होता है। ऐसा करने के कई मानक तरीके हैं, लेकिन सबसे आम एक को योजना योजना कहा जाता है। यह इकाई इकाई लेबल में कुछ उपसर्ग जोड़ने के लिए है (उदाहरण के लिए, व्यक्तियों के लिए प्रति या संगठनों के लिए ओआरजी), जो इकाई की अवधि में टोकन की स्थिति को इंगित करता है। अधिक जानकारी:

शुरुआत शब्द से बी - इकाई की अवधि में पहला टोकन, जिसमें 1 से अधिक शब्द होते हैं।
मैं - अंदर के शब्दों से - यह वही है जो बीच में है।
ई - शब्द समाप्त होने से, यह इकाई का अंतिम टोकन है, जिसमें 1 से अधिक तत्व शामिल हैं।
एस सिंगल है। हम इस उपसर्ग को जोड़ते हैं यदि इकाई में एक शब्द होता है।

इस प्रकार, हम प्रत्येक प्रकार की इकाई में 4 संभावित उपसर्गों में से एक जोड़ते हैं। यदि टोकन किसी इकाई से संबंधित नहीं है, तो इसे एक विशेष लेबल के साथ चिह्नित किया जाता है, जिसे आमतौर पर OUT या O लेबल किया जाता है।

हम एक उदाहरण देते हैं। हमें पाठ " कार्ल फ्रेडरिक जेरोम वॉन मुनचौसेन का जन्म बोडेनवर्ल्डर में हुआ था ।" यहाँ एक क्रिया इकाई है - व्यक्ति "कार्ल फ्रेडरिक जेरोम वॉन मुनहॉसेन" और एक-एक शब्द - स्थान "बोडेनवर्ल्डर"।



इस प्रकार, BIOES टोकन स्तर पर स्पैन या एनोटेशन के अनुमानों को मैप करने का एक तरीका है।

यह स्पष्ट है कि इस मार्कअप से हम सभी इकाई एनोटेशन की सीमाओं को स्पष्ट रूप से स्थापित कर सकते हैं। वास्तव में, प्रत्येक टोकन के बारे में, हम जानते हैं कि क्या यह सच है कि एक इकाई इस टोकन से शुरू होती है या उस पर समाप्त होती है, जिसका अर्थ है कि किसी दिए गए टोकन पर इकाई का एनोटेशन समाप्त करना है, या इसे अगले टोकन तक विस्तारित करना है।

अधिकांश शोधकर्ता इस विधि का उपयोग करते हैं (या कम लेबलों के साथ इसके बदलाव - BIOE या BIO), लेकिन इसमें कई महत्वपूर्ण कमियां हैं। मुख्य एक यह है कि योजना नेस्टेड या इंटरसेक्टिंग संस्थाओं के साथ काम करने की अनुमति नहीं देती है। उदाहरण के लिए, " मास्को राज्य विश्वविद्यालय का नाम एम.वी. लोमोनोसोव ”एक संगठन है। लेकिन लोमोनोसोव खुद एक व्यक्ति है, और मार्कअप में पूछना भी अच्छा होगा। ऊपर वर्णित मार्कअप पद्धति का उपयोग करके, हम एक ही समय में इन दोनों तथ्यों को कभी भी व्यक्त नहीं कर सकते हैं (क्योंकि हम केवल एक टोकन पर एक निशान बना सकते हैं)। तदनुसार, "लोमोनोसोव" टोकन संगठन के एनोटेशन का हिस्सा हो सकता है, या व्यक्ति के एनोटेशन का हिस्सा हो सकता है, लेकिन दोनों एक ही समय में कभी नहीं।

एम्बेडेड एंटिटीज का एक और उदाहरण: " डिपार्टमेंट ऑफ मैथमेटिकल लॉजिक एंड एलगोरिदम थ्योरी ऑफ मैकेनिक्स एंड मैथमेटिक्स फैकल्टी ऑफ मॉस्को स्टेट यूनिवर्सिटी "। यहां, आदर्श रूप से, मैं 3 नेस्टेड संगठनों को अलग करना चाहूंगा, लेकिन उपरोक्त मार्कअप विधि आपको 3 असंतुष्ट संस्थाओं, या एक इकाई का चयन करने की अनुमति देती है जो पूरे टुकड़े को एनोटेट करती है।

टोकन स्तर पर कार्य को कम करने के मानक तरीके के अलावा, एक मानक डेटा प्रारूप भी है जिसमें एनईआर कार्य के लिए मार्कअप (साथ ही कई अन्य एनएलपी कार्यों के लिए) स्टोर करना सुविधाजनक है। इस प्रारूप को CoNLL-U कहा जाता है।

: , , — ( . . — ). CoNLL-U , (. . ) — 10 . , .

CoNLL-U- , 6 : , (. . ), ( ), POS- ( ), , , , .

NER ?

, — rule-based ( — ). , , , , , NER rule-based .

, (, ), , .

, ( ), . .

, 2000- SOTA . , .

, — . . . , ( ), 1, 0.

, (POS-), ( — , , ), (. . ), (, ), .

, , :

• “ , ”,
• “ ”,
• “ ”,
• “ ” ( , , “iPhone”).

, , - , — .

, – . , , , – , , , – , , , – . , (“” , “” — ), . , , , — ( , NER 2 — ).

, NER, , Nadeau and Sekine (2007), A survey of Named Entity Recognition and Classification . , , , ( - , , , HMM, , , , ), .

(summarized pattern ). NLP. , 2018 (word shape) .

NER ?

NLP almost from scratch

NER 2011 .

SOTA- CoNLL 2003. , . ML , .

NER , , NLP . , , , , . , NER ( , NLP).

, .

, :

• «» (window based approach),
• (sentence based approach).

– , – , .. , .

: , “ The cat sat on the mat ”.



K (, , , , . .). (, , 1 ). चलो — , i- j- .

, sentence based approach , , — , . i i-core, core — , ( , , ).

— , Lookup Table ( “” ). , एक बूलियन वेक्टर है जिसमें एक जगह पर इसकी लागत 1 है, और अन्य स्थानों पर यह 0. है पर , . . ( i 1 K) – , .

word2vec ( , word2vec, ) , , word2vec ( ).

, , पर ।

, sentence based approach (window based ). , (. . “The cat sat on the mat” 6 ). , , , — core.

: 3-5. , , ( ). m f, m — , (. . ), f — .

, — max pooling (. . ), f. , , , core, (max pooling , , ). “ ” , , core.

- ( — HardTanh), softmax d, d — .

, , — ( ), softmax — , core.

CharCNN-BLSTM-CRF

CharCNN-BLSTM-CRF, , SOTA 2016-2018 ( 2018 , NLP ; ). NER Lample et al (2016) Ma & Hovy (2016) .

, NLP, .

- . . – , – , — : , . . - .

. , , . — . Lookup- , , .

, .

, . — , , ( , ).

CharCNN ( , CharRNN). , - . - (, 20) — . , — , .



, , , , — ( ). - , .

2 .

– ( CharCNN). , sentence based approach .

, (, 3), . max pooling, 1 . .

– (BLSTM BiGRU; , ). RNN.

, - . - .



BLSTM BiGRU. i- , RNN. ( RNN), ( RNN). - .

NLP, NLP.

, , NER. - , . .

– softmax d, d — . ( ).

, — . BiRNN, , . , I-PER B-PER I-PER.

— CRF (conditional random fields). , ( ), , CRF , .

, CharCNN-BLSTM-CRF, SOTA NER 2018 .

. CharCNN f- 1%, CRF — 1-1.5%, ( multi-task learning, Wu et al (2018) ). BiRNN — , , , .

---

, NER. , , .

,
NLP Advanced Research Group