🤸🏻 👠 🚒 नया साल डाटासेट 2018: रूसी भाषा के खुले अर्थ 🌼 💃🏿 ✏️

रूसी भाषा के खुले शब्दार्थ, जिसके इतिहास के बारे में आप यहां और यहां पढ़ सकते हैं, को एक बड़ा अपडेट मिला। हमने एकत्रित मार्कअप के शीर्ष पर मशीन लर्निंग को लागू करने और सिमेंटिक भाषा मॉडल बनाने के लिए पर्याप्त डेटा एकत्र किया है। इसमें से क्या निकला, कट के नीचे देखें।

हम क्या करते हैं

शब्दों के दो समूह लें:

दौड़ना, शूटिंग, साजिश रचना, लंबी पैदल यात्रा, चलना;
धावक, फोटोग्राफर, इंजीनियर, पर्यटक, एथलीट।

किसी व्यक्ति के लिए यह निर्धारित करना मुश्किल नहीं है कि पहले समूह में संज्ञाएं होती हैं जो नाम क्रिया या घटनाएँ होती हैं ; दूसरे में - लोगों को बुला रहा है । हमारा लक्ष्य ऐसी समस्याओं को हल करने के लिए एक मशीन सिखाना है।

ऐसा करने के लिए, आपको चाहिए:

जानें कि भाषा में कौन-सी प्राकृतिक कक्षाएं मौजूद हैं।
अनुच्छेद 1 में कक्षाओं से संबंधित विषय पर पर्याप्त संख्या में शब्दों को चिह्नित करें।
एक एल्गोरिथ्म बनाएं जो आइटम 2 से मार्कअप पर सीखता है और अपरिचित शब्दों में वर्गीकरण को पुन: पेश करता है।

क्या वितरण शब्दार्थ की सहायता से इस समस्या को हल करना संभव है?

word2vec एक उत्कृष्ट उपकरण है, लेकिन फिर भी यह उनके शब्दार्थ वर्गों की समानता के बजाय शब्दों की विषयगत निकटता को पसंद करता है। इस तथ्य को प्रदर्शित करने के लिए, उदाहरण से शब्दों में एल्गोरिथ्म चलाएं:

w1 | w2 | cosine_sim | | | |  |  | 1.0000 |  |  | 0.6618 |  |  | 0.5410 |  |  | 0.3389 |  |  | 0.1531 |  |  | 0.1342 |  |  | 0.1067 |  |  | 0.0681 |  |  | 0.0458 |  |  | 0.0373 | | | |  |  | 1.0000 |  |  | 0.5782 |  |  | 0.2525 |  |  | 0.2116 |  |  | 0.1644 |  |  | 0.1579 |  |  | 0.1342 |  |  | 0.1275 |  |  | 0.1100 |  |  | 0.0975 | | | |  |  | 1.0000 |  |  | 0.3575 |  |  | 0.2116 |  |  | 0.1587 |  |  | 0.1207 |  |  | 0.1067 |  |  | 0.0889 |  |  | 0.0794 |  |  | 0.0705 |  |  | 0.0430 | | | |  |  | 1.0000 |  |  | 0.1896 |  |  | 0.1753 |  |  | 0.1644 |  |  | 0.1548 |  |  | 0.1531 |  |  | 0.0889 |  |  | 0.0794 |  |  | 0.0568 |  |  | -0.0013 | | | |  |  | 1.0000 |  |  | 0.5410 |  |  | 0.3442 |  |  | 0.2469 |  |  | 0.1753 |  |  | 0.1650 |  |  | 0.1207 |  |  | 0.1100 |  |  | 0.0673 |  |  | 0.0642 | | | |  |  | 1.0000 |  |  | 0.6618 |  |  | 0.4909 |  |  | 0.3442 |  |  | 0.1548 |  |  | 0.1427 |  |  | 0.1422 |  |  | 0.1275 |  |  | 0.1209 |  |  | 0.0705 | | | |  |  | 1.0000 |  |  | 0.5782 |  |  | 0.3687 |  |  | 0.2334 |  |  | 0.1911 |  |  | 0.1587 |  |  | 0.1209 |  |  | 0.0642 |  |  | 0.0373 |  |  | -0.0013 | | | |  |  | 1.0000 |  |  | 0.3575 |  |  | 0.2334 |  |  | 0.1579 |  |  | 0.1503 |  |  | 0.1447 |  |  | 0.1422 |  |  | 0.0673 |  |  | 0.0568 |  |  | 0.0458 | | | |  |  | 1.0000 |  |  | 0.3687 |  |  | 0.2525 |  |  | 0.1896 |  |  | 0.1650 |  |  | 0.1503 |  |  | 0.1495 |  |  | 0.1427 |  |  | 0.0681 |  |  | 0.0430 | | | |  |  | 1.0000 |  |  | 0.4909 |  |  | 0.3389 |  |  | 0.2469 |  |  | 0.1911 |  |  | 0.1495 |  |  | 0.1447 |  |  | 0.0975 |  |  | 0.0889 |  |  | 0.0889 |

कैसे खुला अर्थ इस समस्या को हल करता है

सिमेंटिक शब्दकोश में एक खोज निम्नलिखित परिणाम देती है:

   |   | | |  | ABSTRACT:ACTION |  | ABSTRACT:ACTION |  | ABSTRACT:ACTION |  | ABSTRACT:ACTION |  | ABSTRACT:ACTION |  | HUMAN |  | HUMAN |  | HUMAN |  | HUMAN |  | HUMAN |

क्या किया गया है और कहाँ डाउनलोड करना है

जीसी पर रिपॉजिटरी में प्रकाशित कार्य और डाउनलोड के लिए उपलब्ध का परिणाम इन वर्गों के लिए संज्ञा के वर्ग पदानुक्रम और मार्कअप (मैनुअल और स्वचालित) का विवरण है।

डेटासेट से परिचित होने के लिए, आप इंटरैक्टिव नेविगेटर (रिपॉजिटरी में लिंक) का उपयोग कर सकते हैं। सेट का एक सरलीकृत संस्करण भी है जिसमें हमने पूरी पदानुक्रम को हटा दिया और प्रत्येक शब्द के लिए एक एकल बड़ा शब्दार्थ टैग दिया: "लोग", "जानवर", "स्थान", "चीजें", "क्रियाएं", आदि।

जीथब से लिंक: रूसी भाषा (डेटासेट) का खुला शब्दार्थ ।

शब्द वर्गों के बारे में

वर्गीकरण की समस्याओं में, कक्षाओं को अक्सर हल की जा रही समस्या से निर्धारित किया जाता है, और डेटा इंजीनियर का कार्य उन विशेषताओं के एक सफल सेट को खोजने के लिए नीचे आता है, जिनमें से आप एक कार्यशील मॉडल का निर्माण कर सकते हैं।

हमारी समस्या में, शब्द कक्षाएं, सख्ती से बोलना, पहले से ज्ञात नहीं हैं। यहां घरेलू और विदेशी भाषाई विद्वानों द्वारा किए गए शब्दार्थ पर शोध का एक बड़ा स्तर, मौजूदा शब्दकोष शब्दकोशों और WordNet'es के साथ परिचित होना बचाव के लिए आता है।

यह एक अच्छी मदद है, लेकिन अभी भी अंतिम निर्णय हमारे अपने शोध के भीतर पहले से ही है। ये रही बात। पूर्व-संगणक युग (कम से कम कंप्यूटर की आधुनिक समझ में) में कई शब्दार्थ संसाधन बनाए जाने लगे और वर्गों का चुनाव काफी हद तक उनके रचनाकारों की भाषा अंतर्ज्ञान द्वारा निर्धारित किया गया। पिछली शताब्दी के अंत में, WordNet का उपयोग स्वचालित पाठ विश्लेषण के कार्यों में सक्रिय रूप से किया गया था, और कई नए बनाए गए संसाधनों को अन्य व्यावहारिक अनुप्रयोगों के लिए तेज किया गया था।

इसका नतीजा यह हुआ कि इन भाषा संसाधनों में भाषा की इकाइयों के बारे में एक साथ भाषाई और दोनों तरह के भाषाई, ज्ञानवर्धक जानकारी होती है। यह मान लेना तर्कसंगत है कि एक ऐसे मॉडल का निर्माण करना असंभव है, जो अतिरिक्त जानकारी की जांच करेगा, जो केवल ग्रंथों के सांख्यिकीय विश्लेषण पर निर्भर है, क्योंकि डेटा स्रोत में बस आवश्यक जानकारी शामिल नहीं है।

इस धारणा के आधार पर, हम केवल प्राकृतिक कक्षाओं की तलाश कर रहे हैं, जिन्हें शुद्ध रूप से भाषाई मॉडल के आधार पर पता लगाया जा सकता है और स्वचालित रूप से सत्यापित किया जा सकता है। एक ही समय में, सिस्टम आर्किटेक्चर भाषाई इकाइयों के बारे में सूचना की एक अतिरिक्त बड़ी परत को अतिरिक्त रूप से जोड़ने की अनुमति देता है, जो व्यावहारिक अनुप्रयोगों में उपयोगी हो सकता है।

हम "रेफ्रिजरेटर" शब्द का विश्लेषण करके एक विशिष्ट उदाहरण के साथ उपरोक्त प्रदर्शित करेंगे। भाषाई मॉडल से, हम पता लगा सकते हैं कि एक "रेफ्रिजरेटर" एक भौतिक वस्तु है, एक डिजाइन, "बॉक्स या बैग" प्रकार का एक कंटेनर है, अर्थात। एक अतिरिक्त कंटेनर के बिना तरल पदार्थ या ठोस के भंडारण के लिए इरादा नहीं है। इसके अलावा, इस मॉडल से यह स्पष्ट नहीं है कि "रेफ्रिजरेटर" एक कमोडिटी है, इसके अलावा, एक टिकाऊ उत्पाद है, और यह भी स्पष्ट नहीं है कि यह एक विरूपण साक्ष्य है, अर्थात। मानव निर्मित वस्तु। यह गैर-भाषाई जानकारी है, जिसे अलग से आपूर्ति की जानी चाहिए।

"रेफ्रिजरेटर" शब्द के लिए मॉडल का परिणाम

यह सब क्यों जरूरी है

जैसा कि यह हो सकता है, वास्तविकता के सीखने और अनुभूति की प्रक्रिया में, एक व्यक्ति प्राकृतिक फ्रेम पर उसके आस-पास की वस्तुओं और घटनाओं के बारे में अतिरिक्त जानकारी रखता है, जिसे उसने बचपन में सीखा था। हालांकि, कुछ अवधारणाएं सार्वभौमिक हैं, विषय क्षेत्र से स्वतंत्र हैं, और सफलतापूर्वक पुन: उपयोग किया जा सकता है।

कहो "विक्रेता" एक व्यक्ति + एक कार्यात्मक भूमिका है । कुछ मामलों में, विक्रेता लोगों या किसी संगठन का एक समूह हो सकता है, लेकिन विषय-वस्तु को हमेशा संरक्षित रखा जाता है: अन्यथा, लक्ष्य कार्रवाई संभव नहीं होगी। शब्द "विनिमय" या "प्रशिक्षण" कार्यों को संदर्भित करता है, अर्थात। उनके पास प्रतिभागी, अवधि और परिणाम हैं। इन कार्यों की सटीक सामग्री स्थिति और विषय क्षेत्र के आधार पर महत्वपूर्ण रूप से भिन्न हो सकती है, लेकिन कुछ पहलू अपरिवर्तनीय होंगे। यह भाषा का ढांचा है, जिस पर परिवर्तनशील ज्ञान का परिवर्तन किया जाता है।

हमारा लक्ष्य अधिकतम उपलब्ध आंतरिक जानकारी को खोजना और उसका पता लगाना और उसके आधार पर भाषा का एक व्याख्यात्मक मॉडल बनाना है। यह स्वचालित वर्ड प्रोसेसिंग के लिए मौजूदा एल्गोरिदम में सुधार करेगा, जिसमें शामिल है लेक्सिकल अस्पष्टता को हल करने के रूप में इस तरह के जटिल, अनाफोरा का समाधान, रूपात्मक अंकन के जटिल मामले। इस प्रक्रिया में, हम आवश्यक रूप से अतिरिक्त-भाषाई ज्ञान को आकर्षित करने की आवश्यकता के खिलाफ कहीं आराम करेंगे, लेकिन कम से कम हमें पता चल जाएगा कि बहुत सीमा कहां जाती है जब भाषा का आंतरिक ज्ञान अब पर्याप्त नहीं है।

वर्गीकरण और प्रशिक्षण, विशेषताओं का सेट

कुछ समय के लिए, हम केवल संज्ञाओं के साथ काम करते हैं, इसलिए नीचे, जब हम "शब्द" कहते हैं, तो हमारा मतलब उन संकेतों से होगा जो केवल भाषण के इस भाग से संबंधित हैं। चूंकि हमने केवल सूचनात्मक जानकारी का उपयोग करने का निर्णय लिया है, इसलिए हम रूपात्मक मार्कअप से लैस ग्रंथों के साथ काम करेंगे।

संकेत के रूप में, हम सभी संभव माइक्रोकंटेक्स लेते हैं जिसमें यह शब्द होता है। संज्ञा के लिए, ये होंगे:

एपीपी + एक्स (सुंदर एक्स: आंखें)
GLAG + X (vdite X: थ्रेड)
VL + PRED + X (X दर्ज करें: दरवाजा)
X + SUSCH_ROD (X: टेबल का किनारा)
SUSHCH + X_ROD (हैंडल X: कृपाण )
X_ SUBJECT + GL (एक्स: प्लॉट विकसित हो रहा है)

अधिक प्रकार के माइक्रोकंटेक्स होते हैं, लेकिन उपरोक्त सबसे अक्सर होते हैं और पहले से ही सीखते समय एक अच्छा परिणाम देते हैं।

सभी माइक्रोकंटेक्स मूल रूप में कम हो जाते हैं और हम उनसे सुविधाओं का एक सेट बनाते हैं। अगला, प्रत्येक शब्द के लिए, हम एक सदिश की रचना करते हैं जिसका i-th निर्देशांक i-th माइक्रोकंटेक्स में दिए गए शब्द की घटना के साथ संबद्ध होगा।

"बैकपैक" शब्द के लिए माइक्रोकंटेक्स टेबल

   |  |  |  | | | | |   | VBP_ | 3043 | 1.0000 |  | ADJ | 2426 | 0.9717 |  | NX_NG | 1438 | 0.9065 |   | VBP_ | 1415 | 0.9045 |   | VBP__ | 1300 | 0.8940 |  | NX_NG | 1292 | 0.8932 |  | NX_NG | 1259 | 0.8900 |  | ADJ | 1230 | 0.8871 |  | ADJ | 1116 | 0.8749 |  | ADJ | 903 | 0.8485 |  | ADJ | 849 | 0.8408 |  | NX_NG | 814 | 0.8356 |  | ADJ | 795 | 0.8326 |  | ADJ | 794 | 0.8325 |   | VBP_ | 728 | 0.8217 |  | ADJ | 587 | 0.7948 |  | ADJ | 587 | 0.7948 |   | VBP__ | 567 | 0.7905 |   | VBP_ | 549 | 0.7865 |   | VBP__ | 538 | 0.7840 |   | VBP_ | 495 | 0.7736 |   | VBP_ | 484 | 0.7708 |  | NX_NG | 476 | 0.7687 |  | ADJ | 463 | 0.7652 |  | NX_NG | 459 | 0.7642 |

लक्ष्य मूल्य, सिमेंटिक स्लाइसिंग पदानुक्रम

भाषा में शब्दों के पुन: उपयोग के लिए प्राकृतिक तंत्र है, जो पुलिस के रूप में इस तरह की घटना के उद्भव का कारण बनता है। इसके अलावा, कभी-कभी न केवल व्यक्तिगत शब्दों का पुन: उपयोग किया जाता है, बल्कि संपूर्ण अवधारणाओं का एक रूपान्तरण किया जाता है। यह भौतिक अवधारणाओं से अमूर्त लोगों के लिए संक्रमण में विशेष रूप से ध्यान देने योग्य है।

यह तथ्य पदानुक्रमित वर्गीकरण की आवश्यकता को निर्धारित करता है, जिसमें अर्थ वर्गों को एक पेड़ की संरचना में व्यवस्थित किया जाता है और विभाजन प्रत्येक आंतरिक नोड में होता है। यह आपको अधिक प्रभावी ढंग से माइक्रोकंटेक्स में अस्पष्टता से निपटने की अनुमति देता है।

रूपात्मक अवधारणा हस्तांतरण के उदाहरण

कंप्यूटर भाषा विज्ञान की व्यावहारिक समस्याओं को सुलझाने के अलावा, हमारा काम शब्द और विभिन्न भाषाई घटनाओं का अध्ययन करना है। वास्तविक विमान से अमूर्त तक अवधारणाओं का रूपात्मक स्थानांतरण एक घटना है जो संज्ञानात्मक भाषाविदों को अच्छी तरह से ज्ञात है। इसलिए, उदाहरण के लिए, भौतिक दुनिया में सबसे चमकदार अवधारणाओं में से एक वर्ग "कंटेनर" है (रूसी भाषा के साहित्य में इसे अक्सर "कंटेनर" के रूप में जाना जाता है)।

एक अन्य सर्वव्यापी ऑन्थोलॉजिकल रूपक कंटेनर, या कंटेनर का रूपक है, जो हमारे अनुभव की निरंतरता में ड्राइंग की सीमाओं का अर्थ है और इसे स्थानिक श्रेणियों के माध्यम से समझता है। लेखकों के अनुसार, जिस तरह से एक व्यक्ति अपने आस-पास की दुनिया को मानता है, वह असतत भौतिक वस्तुओं से निपटने के अपने अनुभव से निर्धारित होता है और, विशेष रूप से, उसकी खुद की धारणा, उसका शरीर। मनुष्य एक ऐसा प्राणी है जिसे दुनिया के बाकी हिस्सों से चमकाया जाता है। वह एक कंटेनर है, और इसलिए उसके लिए अन्य संस्थाओं को आंतरिक भाग और बाहरी सतह के साथ कंटेनर के रूप में देखना आम है।

स्केर्बत्सोवा टी। जी। संज्ञानात्मक भाषाविज्ञान: शास्त्रीय सिद्धांत, नया
दृष्टिकोण

हमने जो मॉडल बनाया है, वह विशेषताओं के एक ही स्थान पर काम करता है और हमें वास्तविक उदाहरणों से सीखने और अमूर्त के क्षेत्र में भविष्यवाणियां करने की अनुमति देता है। यह आपको ऊपर वर्णित स्थानांतरण करने की अनुमति देता है। इसलिए, उदाहरण के लिए, निम्नलिखित शब्द अमूर्त कंटेनर हैं, जो सहज ज्ञान युक्त विचार के अनुरूप है:

एक और दिलचस्प उदाहरण अमूर्त के क्षेत्र में "तरल" की अवधारणा का हस्तांतरण है:

एल्गोरिथम चयन

एक एल्गोरिथ्म के रूप में, हमने लॉजिस्टिक रिग्रेशन का इस्तेमाल किया। यह कई कारकों के कारण है:

एक तरह से या किसी अन्य, प्रारंभिक मार्कअप में एक निश्चित मात्रा में त्रुटियां और शोर होते हैं।
संकेत असंतुलित हो सकते हैं और इसमें त्रुटियां भी हो सकती हैं - शब्द का पॉलीसिम और रूपक (लाक्षणिक) उपयोग।
प्रारंभिक विश्लेषण बताता है कि एक पर्याप्त रूप से चयनित इंटरफ़ेस को काफी सरल एल्गोरिथ्म के साथ तय किया जाना चाहिए।
एल्गोरिथ्म की अच्छी व्याख्या करना महत्वपूर्ण है।

एल्गोरिथ्म में काफी अच्छी सटीकता दिखाई गई:

मार्कअप एल्गोरिदम के लॉग

 == ENTITY == slice | label | count | correctCount | accuracy | | | | | | ENTITY | PHYSICAL | 12249 | 11777 | 0.9615 | ENTITY | ABSTRACT | 9854 | 9298 | 0.9436 | | | | | | | | | | 0.9535 | == PHYSICAL:ROLE == slice | label | count | correctCount | accuracy | | | | | | PHYSICAL:ROLE | ORGANIC | 7001 | 6525 | 0.9320 | PHYSICAL:ROLE | INORGANIC | 3805 | 3496 | 0.9188 | | | | | | | | | | 0.9274 | == PHYSICAL:ORGANIC:ROLE == slice | label | count | correctCount | accuracy | | | | | | PHYSICAL:ORGANIC:ROLE | HUMAN | 4879 | 4759 | 0.9754 | PHYSICAL:ORGANIC:ROLE | ANIMAL | 675 | 629 | 0.9319 | PHYSICAL:ORGANIC:ROLE | FOOD | 488 | 411 | 0.8422 | PHYSICAL:ORGANIC:ROLE | ANATOMY | 190 | 154 | 0.8105 | PHYSICAL:ORGANIC:ROLE | PLANT | 285 | 221 | 0.7754 | | | | | | | | | | 0.9474 | == PHYSICAL:INORGANIC:ROLE == slice | label | count | correctCount | accuracy | | | | | | PHYSICAL:INORGANIC:ROLE | CONSTRUCTION | 1045 | 933 | 0.8928 | PHYSICAL:INORGANIC:ROLE | THING | 2385 | 2123 | 0.8901 | PHYSICAL:INORGANIC:ROLE | SUBSTANCE | 399 | 336 | 0.8421 | | | | | | | | | | 0.8859 | == PHYSICAL:CONSTRUCTION:ROLE == slice | label | count | correctCount | accuracy | | | | | | PHYSICAL:CONSTRUCTION:ROLE | TRANSPORT | 188 | 178 | 0.9468 | PHYSICAL:CONSTRUCTION:ROLE | APARTMENT | 270 | 241 | 0.8926 | PHYSICAL:CONSTRUCTION:ROLE | TERRAIN | 285 | 253 | 0.8877 | | | | | | | | | | 0.9044 | == PHYSICAL:THING:ROLE == slice | label | count | correctCount | accuracy | | | | | | PHYSICAL:THING:ROLE | WEARABLE | 386 | 357 | 0.9249 | PHYSICAL:THING:ROLE | TOOLS | 792 | 701 | 0.8851 | PHYSICAL:THING:ROLE | DISHES | 199 | 174 | 0.8744 | PHYSICAL:THING:ROLE | MUSIC_INSTRUMENTS | 63 | 51 | 0.8095 | PHYSICAL:THING:ROLE | WEAPONS | 107 | 69 | 0.6449 | | | | | | | | | | 0.8739 | == PHYSICAL:TOOLS:ROLE == slice | label | count | correctCount | accuracy | | | | | | PHYSICAL:TOOLS:ROLE | PHY_INTERACTION | 213 | 190 | 0.8920 | PHYSICAL:TOOLS:ROLE | INFORMATION | 101 | 71 | 0.7030 | PHYSICAL:TOOLS:ROLE | EM_ENERGY | 72 | 49 | 0.6806 | | | | | | | | | | 0.8031 | == ATTR:INORGANIC:WEARABLE == slice | label | count | correctCount | accuracy | | | | | | ATTR:INORGANIC:WEARABLE | NON_WEARABLE | 538 | 526 | 0.9777 | ATTR:INORGANIC:WEARABLE | WEARABLE | 282 | 269 | 0.9539 | | | | | | | | | | 0.9695 | == ATTR:PHYSICAL:CONTAINER == slice | label | count | correctCount | accuracy | | | | | | ATTR:PHYSICAL:CONTAINER | CONTAINER | 636 | 627 | 0.9858 | ATTR:PHYSICAL:CONTAINER | NOT_A_CONTAINER | 1225 | 1116 | 0.9110 | | | | | | | | | | 0.9366 | == ATTR:PHYSICAL:CONTAINER:TYPE == slice | label | count | correctCount | accuracy | | | | | | ATTR:PHYSICAL:CONTAINER:TYPE | CONFINED_SPACE | 291 | 287 | 0.9863 | ATTR:PHYSICAL:CONTAINER:TYPE | CONTAINER | 140 | 131 | 0.9357 | ATTR:PHYSICAL:CONTAINER:TYPE | OPEN_AIR | 72 | 64 | 0.8889 | ATTR:PHYSICAL:CONTAINER:TYPE | BAG_OR_BOX | 43 | 31 | 0.7209 | ATTR:PHYSICAL:CONTAINER:TYPE | CAVITY | 30 | 20 | 0.6667 | | | | | | | | | | 0.9253 | == ATTR:PHYSICAL:PHY_STATE == slice | label | count | correctCount | accuracy | | | | | | ATTR:PHYSICAL:PHY_STATE | SOLID | 308 | 274 | 0.8896 | ATTR:PHYSICAL:PHY_STATE | FLUID | 250 | 213 | 0.8520 | ATTR:PHYSICAL:PHY_STATE | FABRIC | 72 | 51 | 0.7083 | ATTR:PHYSICAL:PHY_STATE | PLASTIC | 78 | 42 | 0.5385 | ATTR:PHYSICAL:PHY_STATE | SAND | 70 | 31 | 0.4429 | | | | | | | | | | 0.7853 | == ATTR:PHYSICAL:PLACE == slice | label | count | correctCount | accuracy | | | | | | ATTR:PHYSICAL:PLACE | NOT_A_PLACE | 855 | 821 | 0.9602 | ATTR:PHYSICAL:PLACE | PLACE | 954 | 914 | 0.9581 | | | | | | | | | | 0.9591 | == ABSTRACT:ROLE == slice | label | count | correctCount | accuracy | | | | | | ABSTRACT:ROLE | ACTION | 1497 | 1330 | 0.8884 | ABSTRACT:ROLE | HUMAN | 473 | 327 | 0.6913 | ABSTRACT:ROLE | PHYSICS | 257 | 171 | 0.6654 | ABSTRACT:ROLE | INFORMATION | 222 | 146 | 0.6577 | ABSTRACT:ROLE | ABSTRACT | 70 | 15 | 0.2143 | | | | | | | | | | 0.7896 |

त्रुटि विश्लेषण

स्वचालित वर्गीकरण से उत्पन्न त्रुटियां तीन मुख्य कारकों के कारण होती हैं:

होमोमी और पॉलीसिम: एक ही प्रकार के शब्द के अलग-अलग अर्थ हो सकते हैं (पीड़ा और एम यू का, एक प्रक्रिया के रूप में बंद करें और एक स्थान के रूप में बंद करें)। इसमें शब्दों और रूपक का रूपक भी शामिल हो सकता है (उदाहरण के लिए, एक दरवाजे को बंद स्थान के रूप में वर्गीकृत किया जाएगा - यह भाषा की एक अपेक्षित विशेषता है)।
शब्द के उपयोग के संदर्भ में असंतुलन। कुछ जैविक उपयोग मूल पैकेज में उपलब्ध नहीं हो सकते हैं, जिससे वर्गीकरण त्रुटियां हो सकती हैं।
अमान्य वर्ग सीमा। आप उन सीमाओं को आकर्षित कर सकते हैं जो संदर्भों से गणना योग्य नहीं हैं और अतिरिक्त-भाषाई ज्ञान की भागीदारी की आवश्यकता होती है। यहां एल्गोरिथ्म शक्तिहीन होगा।

इस स्तर पर, हम केवल तीसरे प्रकार की त्रुटियों पर ध्यान देते हैं और कक्षाओं के बीच चयनित सीमा को समायोजित करते हैं। सिस्टम के दिए गए कॉन्फ़िगरेशन में पहले दो प्रकार की त्रुटियों को समाप्त नहीं किया जा सकता है, लेकिन पर्याप्त मात्रा में लेबल डेटा के साथ, वे एक बड़ी समस्या का प्रतिनिधित्व नहीं करते हैं - यह ऊपरी अनुमानों के मार्कअप की सटीकता से देखा जा सकता है।

आगे क्या है

फिलहाल, डेटासेट रूसी भाषा में मौजूद अधिकांश संज्ञाओं को कवर करता है और पर्याप्त संदर्भों में कॉरपस का प्रतिनिधित्व करता है। मुख्य ध्यान भौतिक वस्तुओं पर रखा गया था - वैज्ञानिक कार्यों में सबसे अधिक समझा और विस्तृत रूप में। एल्गोरिथ्म से प्राप्त आंकड़ों को ध्यान में रखते हुए, मौजूदा मार्कअप को परिष्कृत करने के लिए कार्य किए जाते हैं, और निचले स्तरों पर कक्षाओं के साथ काम करते हैं, जहां श्रेणियों के बीच सीमाओं के धुंधला होने के कारण भविष्यवाणी की सटीकता में कमी देखी जाती है।

लेकिन यह एक तरह का रूटीन काम है, जो हमेशा होता है। गुणात्मक रूप से अनुसंधान की एक नई परत एक विशिष्ट संदर्भ या वाक्य में किसी विशेष शब्द को वर्गीकृत करने की संभावना को चिंतित करेगी, जो रूपक और आलंकारिक अर्थ सहित, समरूपता और पोलीसमी की घटनाओं को ध्यान में रखने की अनुमति देगा।

इसके अलावा, हम वर्तमान में कई संबंधित परियोजनाओं पर काम कर रहे हैं:

RY के शब्दों को पहचानने का शब्दकोश: आवृत्ति शब्दकोश का एक रूप, जहां शब्द की समझ और पहचान का मूल्यांकन क्राउडसोर्सिंग मार्कअप के परिणामस्वरूप किया जाता है, और ग्रंथों के शरीर के अनुसार गणना नहीं की जाती है।
लेक्सिकल अस्पष्टता के समाधान के लिए खुली वाहिनी: डायल 2018 सम्मेलन के हिस्से के रूप में आयोजित RUSSE 2018 WSI & D साझा टास्क प्रतियोगिता के आधार पर, शब्दाडंबर की उपयोगिता शब्द के अर्थों के असंतुलन और क्लस्टरिंग के लिए स्वत: एल्गोरिदम के परीक्षण के लिए हटाए गए शाब्दिक अस्पष्टता के साथ स्पष्ट हो गई। हमें पिछले पैराग्राफ में वर्णित खुले शब्दार्थ पर काम करने के चरण में जाने के लिए भी इस निकाय की आवश्यकता होगी।

रूसी भाषा का टोनल शब्दकोश

टोनल शब्द ओजे के शब्द और भाव हैं, जो भावनात्मक-मूल्यांकनात्मक आवेश की गंभीरता की टनटन और शक्ति द्वारा चिह्नित है। सीधे शब्दों में कहें, एक विशेष शब्द "बुरा" या "अच्छा" कितना है।

फिलहाल, 67.392 अक्षर चिह्नित हैं (जिनमें से 55.532 शब्द और 11.860 भाव)।

प्रतिक्रिया और वितरण

हम टिप्पणियों में किसी भी प्रतिक्रिया का स्वागत करते हैं - काम की आलोचना और हमारे दृष्टिकोण से दिलचस्प अध्ययन और संबंधित लेखों के लिंक तक।

यदि आपके पास परिचित या सहकर्मी हैं जो प्रकाशित डेटासेट में रुचि रखते हैं, तो उन्हें खुले डेटा को प्रसारित करने में मदद करने के लिए लेख या रिपॉजिटरी का लिंक भेजें।

डाउनलोड लिंक और लाइसेंस

डेटासेट: रूसी भाषा का खुला शब्दार्थ

डेटासेट CC BY-NC-SA 4.0 के तहत लाइसेंस प्राप्त है।

नया साल डाटासेट 2018: रूसी भाषा के खुले अर्थ