🦔 🚴🏿 🤼 खराब मरम्मत से अच्छी मरम्मत कैसे करें, या हम SRG में टॉमिट पार्सर से एक बहु-थ्रेडेड जावा लाइब्रेरी कैसे बनाते हैं 📇 🏣 🚗

इस लेख में चर्चा की जाएगी कि कैसे हमने यैंडेक्स द्वारा विकसित टॉमिटा-पार्सर को अपने सिस्टम में एकीकृत किया, इसे एक गतिशील पुस्तकालय में बदल दिया, जावा के साथ दोस्त बनाए, इसे मल्टीथ्रेड किया और इसके साथ रियल एस्टेट मूल्यांकन के लिए पाठ वर्गीकरण की समस्या को हल किया।

समस्या का बयान

रियल एस्टेट मूल्यांकन में, बिक्री विज्ञापनों के विश्लेषण का बहुत महत्व है। घोषणा से आप अपार्टमेंट में मरम्मत की स्थिति के बारे में जानकारी सहित संपत्ति के बारे में सभी आवश्यक जानकारी प्राप्त कर सकते हैं। आमतौर पर यह जानकारी विज्ञापन पाठ में निहित होती है। मूल्यांकन में यह बहुत महत्वपूर्ण है, क्योंकि एक अच्छी मरम्मत प्रति वर्ग मीटर की कीमत में कई हजार जोड़ सकती है।

तो, हमारे पास एक विज्ञापन पाठ है जिसे अपार्टमेंट में मरम्मत की स्थिति (अपूर्ण, निष्पक्ष, औसत, अच्छा, उत्कृष्ट, अनन्य) के अनुसार श्रेणियों में से एक में वर्गीकृत करने की आवश्यकता है। मरम्मत के बारे में, एक विज्ञापन एक या दो वाक्य, कुछ शब्द या कुछ भी नहीं कह सकता है, इसलिए पाठ को पूरी तरह से वर्गीकृत करने का कोई मतलब नहीं है। पाठ की विशिष्टता और मरम्मत संदर्भ से संबंधित शब्दों के सीमित सेट के कारण, एकमात्र उचित समाधान यह था कि पाठ से सभी आवश्यक जानकारी निकाली जाए और इसे वर्गीकृत किया जाए।

अब हमें यह सीखने की ज़रूरत है कि टेक्स्ट से सजावट की स्थिति के बारे में सभी तथ्यों को कैसे निकालना है। विशेष रूप से, जो सीधे मरम्मत से संबंधित है, साथ ही साथ वह सब कुछ जो अप्रत्यक्ष रूप से अपार्टमेंट की स्थिति के बारे में बोल सकता है - निलंबित छत, अंतर्निर्मित उपकरणों, प्लास्टिक की खिड़कियां, एक जकूज़ी, महंगी परिष्करण सामग्री का उपयोग आदि।

इस मामले में, हमें केवल अपार्टमेंट में मरम्मत के बारे में जानकारी निकालने की आवश्यकता है, क्योंकि प्रवेश द्वार, बेसमेंट और एटिक्स की स्थिति हमें रुचि नहीं देती है। इस तथ्य को ध्यान में रखना भी आवश्यक है कि पाठ प्राकृतिक भाषा में अपनी सभी अंतर्निहित त्रुटियों, टाइपो, संक्षिप्त और अन्य विशेषताओं के साथ लिखा गया है - मैंने व्यक्तिगत रूप से "लिनोलियम" और "टुकड़े टुकड़े" शब्दों के तीन वर्तनी और शब्द "अंतिम" के पांच वर्तनी पाया; कुछ लोग समझ नहीं पाते हैं कि शब्दों के बीच रिक्त स्थान की आवश्यकता क्यों है, जबकि अन्य लोगों ने अल्पविराम के बारे में नहीं सुना है। इसलिए, प्रासंगिक रूप से मुक्त व्याकरण के साथ पार्सर सबसे सरल और सबसे उचित समाधान बन गया।

इस प्रकार, जैसा कि निर्णय किया गया था, एक दूसरे बड़े और दिलचस्प कार्य का गठन किया गया था - घोषणा से मरम्मत के बारे में सभी पर्याप्त और आवश्यक जानकारी निकालने के लिए, अर्थात् पाठ के त्वरित वाक्यात्मक और रूपात्मक विश्लेषण प्रदान करने के लिए, जो लाइब्रेरी मोड में लोड के तहत समानांतर में काम कर सकता है।

समाधान के लिए आगे बढ़ें

पाठ से तथ्यों को निकालने के लिए उपलब्ध साधनों से संदर्भ-मुक्त व्याकरणों पर आधारित है जो रूसी भाषा के साथ काम कर सकते हैं, हमारा ध्यान अजगर में टॉमिटा-पार्सर और यग्री पुस्तकालय पर आकर्षित किया गया था। यग्री को तुरंत खारिज कर दिया गया, क्योंकि यह पूरी तरह से अजगर में लिखा गया है और शायद ही अच्छी तरह से अनुकूलित है। और शुरू में टॉमिता बहुत आकर्षक लग रही थी: उसने डेवलपर के लिए विस्तृत दस्तावेज और बहुत सारे उदाहरण दिए, सी ++ ने एक स्वीकार्य गति का वादा किया। व्याकरण लिखने के नियमों को समझना मुश्किल नहीं था, और इसके उपयोग के साथ क्लासिफायर का पहला संस्करण अगले दिन तैयार था।

हमारे व्याकरण के नियमों के उदाहरण जो मरम्मत के संदर्भ से संबंधित विशेषण और क्रियाएं निकालते हैं:

RepairW -> "" | "" | ""; StopWords -> "" | "" | "" | ""; Repair -> RepairW<gnc-agr[1]> Adj<gnc-agr[1]>+ interp (Repair.AdjGroup {weight = 0.5}); Repair -> Verb<gnc-agr[1]> Adj<gnc-agr[1]>* interp (Repair.Verb) RepairW<gnc-agr[1]> {weight = 0.5};

यह सुनिश्चित करने के लिए उपयोग किए जाने वाले नियम कि सार्वजनिक स्थानों की स्थिति की जानकारी पुनर्प्राप्त नहीं की गई है:

 Repair -> StopWords Verb* Prep* Adj* RepairW; Repair -> Adj+ RepairW Prep* StopWords;

डिफ़ॉल्ट रूप से, नियम का वजन 1 है, नियम को एक छोटा वजन प्रदान करते हुए, हम उनके निष्पादन का क्रम निर्धारित करते हैं।

यह थोड़ा शर्मनाक था कि केवल कंसोल एप्लिकेशन और एक टन C ++ कोड को जनता के लिए अपलोड किया गया था। लेकिन निस्संदेह लाभ प्रयोग में आसानी और त्वरित परिणाम था। इसलिए, इसे लागू करने के करीब हमारे सिस्टम में इसे पेश करने की संभावित कठिनाइयों के बारे में सोचने का फैसला किया गया था।

लगभग तुरंत, मरम्मत के बारे में लगभग सभी आवश्यक जानकारी के उच्च-गुणवत्ता वाले निष्कर्षण को प्राप्त करना संभव था। "लगभग", क्योंकि शुरू में कुछ शब्द किसी भी स्थिति और व्याकरण के तहत नहीं निकाले गए थे। हालांकि, इस समस्या के पैमाने का तुरंत आकलन करना मुश्किल था, यह समग्र रूप से वर्गीकरण समस्या के समाधान की गुणवत्ता को कितना प्रभावित कर सकता है।

यह सुनिश्चित करने के बाद कि टॉमिता हमें पहले सन्निकटन के रूप में आवश्यक कार्यक्षमता प्रदान करती है, हमने महसूस किया कि यह कंसोल एप्लिकेशन के रूप में उपयोग करने का विकल्प नहीं है: सबसे पहले, कंसोल एप्लिकेशन अस्थिर था और अज्ञात कारणों से समय-समय पर दुर्घटनाग्रस्त हो गया, और दूसरा, यह प्रदान नहीं करेगा। प्रति दिन कई मिलियन विज्ञापनों के लिए आवश्यक पार्सिंग लोड। इस प्रकार, यह निश्चित रूप से स्पष्ट हो गया कि पुस्तकालय को क्या बनाना है।

हमने कैसे टोमिथा को एक बहुआयामी पुस्तकालय बनाया और जावा के साथ दोस्ती की

हमारे सिस्टम को C ++ में Java, tomita-parser लिखा जाता है। हमें जावा से पार्सिंग विज्ञापन पाठ को कॉल करने में सक्षम होना चाहिए।

टॉमिता-पार्सर के लिए जावा-बाइंडिंग के विकास को सशर्त रूप से दो घटकों में विभाजित किया जा सकता है - एक साझा पुस्तकालय के रूप में टॉमिता का उपयोग करने की संभावना का कार्यान्वयन और, वास्तव में, जेवीएम के साथ एक एकीकरण परत लिखना। मुख्य कठिनाई पहले भाग से संबंधित है। टॉमिता स्वयं मूल रूप से एक अलग प्रक्रिया में निष्पादन के लिए डिज़ाइन की गई थी। यह पीछा किया कि आवेदन प्रक्रिया में पार्सर का उपयोग करने के लिए मुख्य बाधाएं दो कारक थे।

विभिन्न प्रकार के आईओ के माध्यम से डेटा एक्सचेंज किया गया। स्मृति के माध्यम से पार्सर के साथ डेटा का आदान-प्रदान करने की क्षमता को लागू करना आवश्यक था। इसके अलावा, इस तरह से ऐसा करना आवश्यक था जैसे कि पार्सर के कोड को न्यूनतम रूप से प्रभावित करना। Tomita की वास्तुकला ने CDocStreamBase और CDocListRetrieverBase इंटरफेस के कार्यान्वयन के रूप में मेमोरी से इनपुट दस्तावेजों की रीडिंग को लागू करने का एक तरीका सुझाया। आउटपुट के साथ यह अधिक कठिन था - मुझे xml जनरेटर के कोड पर स्पर्श करना था।
"एक पार्सर - एक प्रक्रिया" के सिद्धांत से उत्पन्न दूसरा कारक वैश्विक राज्य है, जो कि पार्सर के विभिन्न उदाहरणों से संशोधित है। यदि आप src / use / generic / singleton.h फ़ाइल को देखते हैं, तो आप साझा स्थिति का उपयोग करने के लिए तंत्र देख सकते हैं। यह कल्पना करना आसान है कि एक ही पते के स्थान में दो पार्सर उदाहरणों का उपयोग करते समय, एक दौड़ की स्थिति होगी। पूरे पार्सर को फिर से लिखना नहीं करने के लिए, इस वर्ग को संशोधित करने का निर्णय लिया गया था, वैश्विक राज्य को थ्रेड (थ्रेड_लोक) के सापेक्ष एक स्थानीय राज्य के साथ बदल दिया गया था। तदनुसार, JTextMiner आवरण में किसी भी पार्सर कॉल से पहले, हम इन थ्रेड_लोक चर को वर्तमान पार्सर उदाहरण के लिए सेट करते हैं, जिसके बाद पार्सर कोड वर्तमान पार्सर उदाहरण के पते के साथ काम करता है।

इन दोनों कारकों को समाप्त करने के बाद, पार्सर किसी भी वातावरण से एक साझा पुस्तकालय के रूप में उपयोग के लिए उपलब्ध था। जानी-बाँधना और एक जावा आवरण लिखना अब मुश्किल नहीं था।

उपयोग से पहले Tomita parser को कॉन्फ़िगर किया जाना चाहिए। कंसोल उपयोगिता को लागू करते समय कॉन्फ़िगरेशन पैरामीटर समान होते हैं। पार्सिंग में स्वयं को पार्स () विधि को कॉल करना शामिल है, जो पार्सिंग के लिए दस्तावेज प्राप्त करता है और पार्सर के परिणामों के साथ एक स्ट्रिंग के रूप में एक्सएमएल लौटाता है।

Tomita - TomitaPooledParser का बहु-संस्करण संस्करण TomitaParser ऑब्जेक्ट्स के पूल को पार्स करने के लिए उपयोग करता है जो उसी तरह कॉन्फ़िगर किए गए हैं। पार्सिंग के लिए, पहले मुफ्त पार्सर का उपयोग किया जाता है। चूंकि बनाए गए पार्सरों की संख्या पूल में धागे की संख्या के बराबर है, इसलिए हमेशा कार्य के लिए कम से कम एक पार्सर उपलब्ध होगा। पार्स विधि अतुल्यकालिक रूप से पहले मुक्त पार्सर में दिए गए दस्तावेजों को पार्स करती है।

जावा से टॉमिटा लाइब्रेरी को कॉल करने का एक उदाहरण:

 /** * @param threadAmount number of threads in the pool * @param tomitaConfigFilename tomita config.proto * @param configDirname dir with configs: grammars, gazetteer, facttypes.proto */ tomitaPooledParser = new TomitaPooledParser(threadAmount, new File(configDirname), new String[]{tomitaConfigFilename}); Future<String> result = tomitaPooledParser.parse(documents); String response = result.get();

जवाब में, पार्सिंग के परिणाम के साथ एक XML स्ट्रिंग।

समस्याओं का सामना करना पड़ा और हमने उन्हें कैसे हल किया

तो, पुस्तकालय तैयार है, हम बड़ी मात्रा में डेटा पर इसके उपयोग के साथ सेवा शुरू करते हैं और कुछ शब्दों को नहीं निकालने की समस्या को याद करते हैं, यह महसूस करते हुए कि यह हमारे कार्य के लिए बहुत महत्वपूर्ण है।

इन शब्दों में "पूर्वनिर्मित", साथ ही "किए गए", "उत्पादित" और अन्य दुर्बल प्रतिभागी थे। यही है, शब्द जो विज्ञापन में बहुत बार पाए जाते हैं, और कभी-कभी यह मरम्मत के बारे में एकमात्र या बहुत महत्वपूर्ण जानकारी होती है। इस व्यवहार का कारण - "प्रीफिल्ड" शब्द अज्ञात आकृति विज्ञान के साथ एक शब्द निकला, अर्थात, टोमिता केवल यह निर्धारित नहीं कर सकती है कि यह भाषण का कौन सा हिस्सा है, और, तदनुसार, इसे निकाल नहीं सकते। और अपमानित प्रतिभागियों के लिए, मुझे एक अलग नियम लिखना था, और समस्या हल हो गई थी, लेकिन यह पता लगाने में कुछ समय लगा कि ये संक्षिप्त प्रतिभागी हैं, जिनके निष्कर्षण के लिए एक विशेष नियम की आवश्यकता है। और लंबे समय तक पीड़ित "अंतिम" खत्म करने के लिए, मुझे एक अलग आकृति विज्ञान के साथ एक शब्द के लिए एक अलग नियम लिखना था।

व्याकरणों का उपयोग करके पार्सिंग की समस्याओं को हल करने के लिए, हम एक शब्द को अज्ञात आकृति विज्ञान के साथ गजेटियर में जोड़ते हैं:

 TAuxDicArticle "adjNonExtracted" { key = "" | "-" }

संक्षिप्त प्रतिभागियों के लिए हम partcp, brev की व्याकरणिक विशेषताओं का उपयोग करते हैं।

और अब हम इन मामलों के लिए नियम लिख सकते हैं:

 Repair -> RepairW<gnc-agr[1]> Word<gram="partcp,brev",gnc-agr[1]> interp (Repair.AdjGroup) {weight = 0.5}; Repair -> Word<kwtype="adjNonExtracted",gnc-agr[1]> interp (Repair.AdjGroup) RepairW<gnc-agr[1]> Prep* Adj<gnc-agr[1]>+;

और जिन समस्याओं का हमने पता लगाया, उनमें से अंतिम एक सेवा है, जो कि टॉमिटा लाइब्रेरी के बहुस्तरीय उपयोग के साथ मायस्टेम प्रक्रियाओं का निर्माण करती है जो नष्ट नहीं होती हैं और कुछ समय बाद सभी मेमोरी को भर देती हैं। सबसे आसान उपाय यह था कि टॉमकैट में धागे की अधिकतम और न्यूनतम संख्या को सीमित किया जाए।

वर्गीकरण के बारे में कुछ शब्द

इसलिए, अब हमारे पास पाठ से निकाली गई मरम्मत की जानकारी है। ग्रेडिएंट बूस्टिंग एल्गोरिदम का उपयोग करके इसे वर्गीकृत करना मुश्किल नहीं था। हम इस विषय पर लंबे समय तक यहां नहीं रुकेंगे, इस बारे में बहुत कुछ कहा और लिखा गया है, और हमने इस क्षेत्र में कुछ नया नहीं किया है। मैं परीक्षण पर प्राप्त वर्गीकरण का केवल गुणवत्ता संकेतक दूंगा:

सटीकता = ९ ५%
F1 स्कोर = 93%

निष्कर्ष

लाइब्रेरी मोड में टॉमिटा-पार्सर का उपयोग करके कार्यान्वित सेवा वर्तमान में प्रतिदिन कई मिलियन विज्ञापनों को लगातार, पार्स और वर्गीकृत करती है।

पुनश्च

इस परियोजना के हिस्से के रूप में हमने जो कुछ लिखा था, वह सभी गीता में अपलोड किया गया है। मुझे उम्मीद है कि यह किसी के लिए उपयोगी है, और यह व्यक्ति कुछ और भी उपयोगी पर थोड़ा समय बचाएगा।

खराब मरम्मत से अच्छी मरम्मत कैसे करें, या हम SRG में टॉमिट पार्सर से एक बहु-थ्रेडेड जावा लाइब्रेरी कैसे बनाते हैं