नया साल डाटासेट 2019: रूसी भाषा का खुला तानवाला शब्दकोश

आमतौर पर नए साल की पूर्व संध्या पर हम ओपन सेमेंटिक्स पर अपने डेटासेट अपडेट करते हैं। इस साल बहुत सारे काम किए गए हैं, लेकिन यह अपने तार्किक निष्कर्ष पर नहीं आया है और हम इसे अगले साल भी जारी रखेंगे। अब हम एक कम महत्वपूर्ण खुले डाटासेट के बारे में बात नहीं करना चाहते हैं जो इस वर्ष कई भाषाई सम्मेलनों में रुचि रखते हैं, दोनों शोधकर्ताओं और उद्योग के प्रतिनिधियों की ओर से। यह पोस्ट रूसी भाषा के ओपन टोनल शब्दकोश पर केंद्रित होगी।

क्यों?

टॉन्सिलिटी, या सरल शब्दों में अच्छा / बुरा, शब्दों की एक स्वाभाविक विशेषता है। मनुष्यों और उनकी धारणाओं के लिए प्राकृतिक, लेकिन कंप्यूटर की समझ के लिए नहीं। भाषा को इस तरह से व्यवस्थित किया गया है कि इसमें शब्दों की ध्रुवता के संबंध में समरूपता है और बाहरी अंकन का सहारा लिए बिना अच्छे शब्दों को बुरे लोगों से अलग करना संभव नहीं है। दरअसल, शुरू में एक टोनल शब्दकोश बनाने का कार्य एल्गोरिदम द्वारा उनकी ध्रुवीयता के अनुसार स्वचालित रूप से प्राप्त क्लस्टर शब्द सूचियों की आवश्यकता से उत्पन्न हुआ था।

बेशक, एक शब्द के अर्थ में टॉन्सिलिटी केवल एक पहलू है, और भावना की वास्तविक समझ के लिए पूर्ण शब्दार्थ विश्लेषण, किसी विशेष स्थिति में भूमिकाओं की समझ और पर्यवेक्षक के कब्जे वाली स्थिति का ज्ञान आवश्यक है। इसलिए, उदाहरण के लिए, अलग-अलग दलों के लिए "शेयरों की कीमत में कमी" में एक भिन्नता हो सकती है, लेकिन "लागत में वृद्धि हुई है" और "लाभ में वृद्धि हुई है" में अलग-अलग ध्रुवीयता है, हालांकि दोनों वाक्यांशों में क्रिया बढ़ती है, जो एक सकारात्मक रेटिंग (हमारे डाटासेट के अनुसार) है।

कई कारणों की एक विस्तृत श्रृंखला है कि हम किसी विशेष शब्द को एक विशेष कुंजी के लिए क्यों कहते हैं। कभी-कभी ये हमारी तात्कालिक संवेदनाएं होती हैं - आनंद और लालसा; कभी-कभी यह एक व्यक्ति के गुण होते हैं - व्यावसायिकता और लापरवाही: और कभी-कभी ऐसी अवधारणाएं जैसे कि शिक्षा या उद्यमशीलता जटिल सामाजिक संस्थानों से जुड़ी होती है और लंबी अवधि में लाभ प्रदान करती है। और ऐसे शब्दों का मूल्यांकन दृढ़ता से संस्कृति और सामाजिक अनुबंध से संबंधित है। और, तदनुसार, यह एक सार्वभौमिक मान्यता प्राप्त और सार्वभौमिक मूल्यांकन नहीं हो सकता है।

फिर भी, भाषा और संचार मौजूद नहीं हो सकता है यदि एक ही संस्कृति के भीतर विभिन्न लोगों के समन्वय प्रणाली में एक दूसरे के साथ कुछ भी नहीं होगा। और इसलिए, शब्दों के काफी बड़े समूहों के लिए, उनका अनुमानित घटक कमोबेश सुसंगत है।

कैसे?

बड़ी मात्रा में भाषाई डेटा एकत्र करने के दो मुख्य तरीके हैं - विशेषज्ञों को आकर्षित करना और लोगों का साक्षात्कार (या बाद का अधिक आधुनिक संस्करण - क्राउडसोर्सिंग)। हम इन दृष्टिकोणों के बीच स्पष्ट अंतरों के बारे में नहीं दोहराएंगे, बल्कि उन पर ध्यान देंगे जो सीधे डेटासेट के गुणों पर सीधा प्रभाव डालते हैं।

विशेषज्ञ अंकन का तात्पर्य भविष्य के उपयोग के लिए एक स्पष्ट अभिविन्यास है, और तदनुसार इस एप्लिकेशन द्वारा निर्धारित अस्पष्टता की स्थिति में निर्णय लेने की विधि को निर्धारित करता है। अंतिम डेटासेट के लिए, इसका मतलब है:

1. विषय क्षेत्र का निर्धारण;
2. प्रेक्षक की स्थिति की स्पष्ट परिभाषा।

इसलिए, यदि कोई विशेषज्ञ बड़े पैमाने पर दर्शकों पर लक्षित समाचारों के विश्लेषण के लिए एक तानवाला शब्दकोश संकलित करता है, तो वह एक सामान्यीकृत पाठक की स्थिति पर कब्जा कर लेता है और मीडिया और पाठकों के बीच अनिर्दिष्ट समझौतों को स्वीकार करता है। इस तरह की स्थापनाओं में "लागत में कमी" का एक सकारात्मक मूल्यांकन होगा, और "टैरिफ वृद्धि" - नकारात्मक (रुसकॉइन्टीलेक्स-2017 डेटासेट के अनुसार)।

क्राउडसोर्सिंग इस तरह के ढांचे को स्थापित करने की संभावना से वंचित है और अत्यधिक विशिष्ट लागू समस्याओं को हल करने के लिए शायद ही इष्टतम उपकरण है। लेकिन यह हमें टॉन्सिलिटी के मूल्यांकन के एक अन्य महत्वपूर्ण पहलू पर कब्जा करने की अनुमति देता है - उत्तरदाताओं के बीच स्थिरता। कुछ शब्दों का सकारात्मक या नकारात्मक रूप से मूल्यांकन किया जाएगा; कुछ तटस्थ और ध्रुवीय विकल्पों के बीच मूल्यांकन को विभाजित करेगा; और शब्दों का एक छोटा समूह रेटिंग की एक स्पष्ट असंगतता दिखाएगा।


इसके अलावा, विशेषज्ञ मूल्यांकन के विपरीत, क्राउडसोर्सिंग आपको ध्रुवीयता का एक निरंतर मूल्य प्राप्त करने की अनुमति देता है, सख्ती से सकारात्मक (नकारात्मक), बल्कि सकारात्मक (नकारात्मक) और तटस्थ शब्दों का परिसीमन करता है। इन समूहों के बीच वितरण, निश्चित रूप से, चयनित सीमा मानों पर निर्भर करता है। हालांकि, नमूना पूरी तरह से वैकल्पिक है - यह कई अनुप्रयोगों के लिए संभव है एक निरंतर मूल्य अधिक सुविधाजनक होगा।

डेटासेट संरचना

डेटासेट की संरचना काफी सरल है: यह एक टोनल डिक्शनरी है जो -1 (सीमांत ऋणात्मक रेटिंग) से +1 (सीमांत सकारात्मक रेटिंग) तक की सीमा में उनके मूल्यांकन के लिए शब्दों से मेल खाती है। सुविधा के लिए, "पॉजिटिव", "न्यूट्रल", "निगेटिव" के सेट से मानव-पढ़ने योग्य टैग का उपयोग थ्रेशोल्ड मानों की गणना करके किया जाता है।


इसके अतिरिक्त, डेटासेट के इस संस्करण में (अभी भी एक पिछला, पहला संस्करण है), कच्चा डेटा दिया जाता है - प्रत्येक विकल्प के लिए डाले गए वोटों का प्रतिशत। यह आपको मार्कअप की कुल ध्रुवता और निरंतरता के स्तर की गणना के लिए कस्टम मॉडल लागू करने की अनुमति देता है।

लगभग। डेटासेट का प्रस्तुत संस्करण OW (सक्रिय शब्दावली) के सबसे पहचानने योग्य शब्दों को शामिल करता है; वाक्यांशों को लेबल नहीं किया गया था। अन्य टॉन्सिलिटी शब्दकोशों के साथ तुलना करने पर, हमें कई शब्द मिले जो सक्रिय शब्दावली में उपलब्ध हैं, लेकिन हमारे डेटा सेट में प्रतिनिधित्व नहीं किया गया है। हम अगले वर्ष से लापता भाषा इकाइयों को शामिल करने के लिए आगे मार्कअप और योजना बनाएंगे।

आगे की योजना

भाषा की शब्दार्थ प्रणाली के अध्ययन के ढांचे में अंकन भावना विशेष कार्य है। जैसा कि हमने ऊपर उल्लेख किया है, प्रस्तुत डेटा सेट की उपयोगिता सीधे अन्य अर्थ सूचनाओं के साथ इसमें प्रस्तुत ध्रुवीयता मूल्यों को संबद्ध करने की क्षमता पर निर्भर करती है। उदाहरण के लिए शब्द वर्गों के साथ। हमने यह काम शुरू किया और भविष्य में इसे विकसित करने की योजना है।

अनुसंधान का एक अन्य महत्वपूर्ण क्षेत्र कुछ शब्दों को रंगने का कारण समझने की इच्छा है, भावनाओं, भावनाओं और प्रत्यक्ष मूल्यांकन से संबंधित शब्दों को प्रजनन और उन शब्दों को जहां उनके द्वारा वर्णित अवधारणा या स्थिति ने लाभ या हानि में देरी का वादा किया है। इसलिए, ऐसे शब्द सांस्कृतिक और सामाजिक प्रभावों के लिए अतिसंवेदनशील होते हैं।

यह स्थिर भावों और वाक्यांशगत इकाइयों सहित वाक्यांशों के साथ मार्कअप का विस्तार करने की भी योजना है। लेकिन यहां हम पहले से ही पूरी तरह से अलग-अलग शब्दावली के बारे में बात कर रहे हैं, इसलिए सामान्य कार्य यह समझना है कि भावना सामान्य स्तर (स्पॉइलर के तहत अधिक) पर कैसे काम करती है।

प्रतिक्रिया और वितरण

हम टिप्पणियों में किसी भी प्रतिक्रिया का स्वागत करते हैं - काम की आलोचना और दिलचस्प अध्ययनों और संबंधित लेखों के लिंक के लिए हमारे दृष्टिकोण से।

यदि आपके पास परिचित या सहकर्मी हैं जो प्रकाशित डेटासेट में रुचि रखते हैं, तो उन्हें खुले डेटा को प्रसारित करने में मदद करने के लिए लेख या रिपॉजिटरी का लिंक भेजें।

डेटासेट और लाइसेंस से लिंक करें

डेटासैट: रूसी भाषा का खुला शब्दकोष

डेटा सेट 28197 शब्द लंबा है ।

डेटासेट CC BY-NC-SA 4.0 के तहत लाइसेंस प्राप्त है।

संबंधित परियोजनाओं के लिए लिंक

• रूसी भाषा के शब्द और अभिव्यक्ति के शब्दकोश
• एक सार्वजनिक स्वर शब्दकोश और इसके निर्माण के लिए क्राउडसोर्सिंग प्लेटफॉर्म Linis Crowd