🙌🏻 🌡️ 📊 यैंडेक्स शोधकर्ताओं के लिए टॉलोका डेटासेट खोलता है 💻 🧠 🐈

टॉलोका मशीन सीखने के कार्यों के लिए मशीन-टैग किए गए डेटा का सबसे बड़ा स्रोत है। टोलोक में हर दिन, हजारों कलाकार 5 मिलियन से अधिक रेटिंग का उत्पादन करते हैं। मशीन लर्निंग से संबंधित किसी भी शोध और प्रयोगों के लिए, गुणवत्ता डेटा के बड़े संस्करणों की आवश्यकता होती है। इसलिए, हम विभिन्न विषय क्षेत्रों में शैक्षिक अनुसंधान के लिए खुले डेटासेट प्रकाशित करना शुरू कर रहे हैं।

आज हम पहले सार्वजनिक डेटासेट के लिंक साझा करेंगे और इस बारे में बात करेंगे कि उन्हें कैसे इकट्ठा किया गया था। हम आपको यह भी दिखाएंगे कि हमारे प्लेटफ़ॉर्म के नाम पर तनाव कहां रखा जाए।

एक दिलचस्प तथ्य: कृत्रिम बुद्धि की तकनीक जितनी जटिल है, उतनी ही उसे मानवीय मदद की जरूरत है। लोग कंप्यूटर विज़न को प्रशिक्षित करने के लिए छवियों को वर्गीकृत करते हैं; लोग प्रश्नों को खोजने के लिए पृष्ठों की प्रासंगिकता को दर करते हैं। लोग भाषण को पाठ में परिवर्तित करते हैं ताकि ध्वनि सहायक समझने और बोलने के लिए सीखें। मशीन को मानव मूल्यांकन की आवश्यकता है ताकि यह लोगों के बिना और लोगों से बेहतर काम करे।

पहले, कई कंपनियों ने विशेष रूप से प्रशिक्षित कर्मचारियों - मूल्यांकनकर्ताओं की मदद से विशेष रूप से ऐसे आकलन एकत्र किए। लेकिन समय के साथ, मशीन सीखने के क्षेत्र में बहुत सारे कार्य थे, और अधिकांश भाग के लिए विशेष ज्ञान और अनुभव की आवश्यकता के लिए कार्य स्वयं बंद हो गए। तो "भीड़" (भीड़) की मदद की मांग थी। लेकिन अपने दम पर, हर कोई बड़ी संख्या में यादृच्छिक कलाकारों को नहीं पा सकता है और उनके साथ काम कर सकता है। क्राउडसोर्सिंग प्लेटफार्म इस समस्या का समाधान करते हैं।

Yandex.Toloka (अंतिम शब्दांश पर जोर देने के साथ सही तरीके से उच्चारण) दुनिया के सबसे बड़े क्राउडसोर्सिंग प्लेटफार्मों में से एक है। हमारे 4 मिलियन से अधिक पंजीकृत उपयोगकर्ता हैं। हर दिन 500 से अधिक परियोजनाएं हमारी मदद से मूल्यांकन एकत्र करती हैं। सुखद तथ्य: डेटा फेस्ट सम्मेलन में इस साल डेटा लेबलिंग सेक्शन में, विभिन्न कंपनियों के सभी छह वक्ताओं ने टोलाका को अपनी परियोजनाओं के लिए मार्कअप के स्रोत के रूप में उल्लेख किया।

व्यापार में तोलोका के उपयोग के बारे में बहुत कुछ कहा गया है। आज हम अपने दूसरे क्षेत्र के बारे में बात करेंगे, जिसे हम कम उपयोगी नहीं मानते हैं।

टॉलोक में शोध

क्राउडसोर्सिंग और, सामान्य रूप से, सामूहिक रूप से मानव मार्कअप इकट्ठा करने का कार्य, मशीन लर्निंग के औद्योगिक अनुप्रयोग के बारे में समान हैं। यह एक ऐसा क्षेत्र है जिस पर सभी प्रौद्योगिकी कंपनियां बहुत पैसा खर्च करती हैं। लेकिन एक ही समय में, किसी कारण से, यह वह है जो अनुसंधान के संदर्भ में बहुत कम निवेश किया जाता है: भीड़ के साथ काम करने पर, एमएल के अन्य क्षेत्रों के विपरीत, अपेक्षाकृत कुछ गंभीर अध्ययन और लेख।

हम इसे बदलना चाहेंगे। हमारी टीम टोलाका को न केवल लागू समस्याओं के समाधान के लिए एक उपकरण के रूप में देखती है, बल्कि विभिन्न विषय क्षेत्रों में वैज्ञानिक अनुसंधान के लिए एक मंच के रूप में भी देखती है।

टोलोका सार्वजनिक डेटासेट

हम वैज्ञानिक समुदाय का समर्थन करना चाहते हैं और शोधकर्ताओं को टोलोका को आकर्षित करना चाहते हैं, इसलिए हम गैर-वाणिज्यिक, शैक्षणिक उद्देश्यों के लिए डेटा सेट प्रकाशित करना शुरू कर रहे हैं। वे विभिन्न दिशाओं के शोधकर्ताओं के लिए रुचि के हो सकते हैं: यहां कंप्यूटर बॉटम समस्याओं के लिए, भाषाई अनुसंधान के लिए, टोट वर्डी के एकत्रीकरण के मॉडल के परीक्षण के लिए चैट बॉट और डेटा हैं। आइए उनके बारे में बात करते हैं:

तोलोका पर्सनल चैट रस

10 हजार संवादों का एक डेटासेट संवाद प्रणाली के शोधकर्ताओं को चैट बॉट्स के प्रशिक्षण के दृष्टिकोण पर काम करने में मदद करेगा। हमने MIPT में न्यूरल सिस्टम और डीप लर्निंग लेबोरेटरी के एक प्रोजेक्ट iPavlov के साथ मिलकर इसे तैयार किया, जो संवादात्मक कृत्रिम बुद्धिमत्ता के क्षेत्र में अनुसंधान करता है और इंटरएक्टिव सहायक बनाने के लिए एक खुला पुस्तकालय डीपपावलोव विकसित करता है। व्यक्ति चैट रुस डेटासेट में किसी व्यक्ति के व्यक्तित्व का वर्णन करने वाले प्रोफाइल होते हैं और अध्ययन प्रतिभागियों के बीच संवाद होते हैं।

कैसे डेटा एकत्र किया गया था
पहले चरण में, टोलोका उपयोगकर्ताओं की मदद से, हमने एक व्यक्ति, उसके शौक, पेशे, परिवार और जीवन की घटनाओं के बारे में जानकारी युक्त प्रोफाइल एकत्र की और उन लोगों को चुना जो संवाद के लिए उपयुक्त हैं।

दूसरे चरण में, हमने प्रतिभागियों को इनमें से किसी एक प्रोफाइल द्वारा वर्णित व्यक्ति की भूमिका निभाने के लिए आमंत्रित किया और मैसेंजर में एक-दूसरे के साथ संवाद किया। संवाद का उद्देश्य वार्ताकार के बारे में अधिक जानना और अपने बारे में बताना है। परिणामी संवादों को अन्य कलाकारों द्वारा जांचा गया।

टॉलोका एकत्रीकरण प्रासंगिकता 2

डेटासेट आपको क्राउडसोर्सिंग में गुणवत्ता नियंत्रण विधियों का पता लगाने की अनुमति देता है। इसमें 2016 में परियोजना "प्रासंगिकता (2 ग्रेडेशन)" पर एकत्र किए गए कलाकारों के लगभग आधा मिलियन अनाम मूल्यांकन शामिल हैं। आपको यहाँ पर टोलकर्मी और संदर्भ आकलन दोनों के अनाम मूल्यांकन मिलेंगे जो उत्तरों की गुणवत्ता को मापने में मदद करेंगे। इन आंकड़ों का अध्ययन हमें यह पता लगाने की अनुमति देगा कि अंतिम मूल्यांकन की गुणवत्ता पर कलाकारों की राय कैसे प्रभावित करती है, परिणामों के एकत्रीकरण के कौन से तरीकों का उपयोग करना बेहतर है और एक विश्वसनीय उत्तर प्राप्त करने के लिए कितनी राय एकत्र करने की आवश्यकता है।

कैसे डेटा एकत्र किया गया था
ठेकेदार को अनुरोध और उपयोगकर्ता के क्षेत्र की पेशकश की गई थी जिसने इसे स्थापित किया था, दस्तावेज़ का स्क्रीनशॉट और इसे लिंक, खोज इंजन और उत्तर विकल्पों का उपयोग करने की क्षमता: "प्रासंगिक", "प्रासंगिक नहीं", "प्रदर्शित नहीं"।

टॉलोका एकत्रीकरण प्रासंगिकता 5

यह डेटासेट पिछले एक के समान है, यहाँ केवल अनुमान बाइनरी पर नहीं बल्कि प्रोजेक्ट "रिलेवलेंस (5 ग्रेडेशन)" में पाँच-पॉइंट स्केल पर एकत्र किए गए थे। डेटासेट में एक मिलियन से अधिक रेटिंग हैं।

कैसे डेटा एकत्र किया गया था
पांच ग्रेड के लिए दस्तावेजों का मूल्यांकन अधिक जटिल है और इसके लिए अधिक योग्यता की आवश्यकता होती है। ठेकेदार को अनुरोध और उस उपयोगकर्ता के क्षेत्र की पेशकश की गई थी जिसने इसे सेट किया था, दस्तावेज़ का स्क्रीनशॉट और इसे एक लिंक, खोज इंजन और पांच उत्तर विकल्पों का उपयोग करने के लिए बटन: "महत्वपूर्ण", "उपयोगी", "प्रासंगिक +", "प्रासंगिक", "अप्रासंगिक"।

गुणवत्ता का मुख्य सूचक कुलीन उत्तरों की सटीकता है, जो नियंत्रण कार्यों (गोल्डेंसेट्स) के आधार पर अनुमानित है। डेटासेट में कुछ कार्यों में एक नहीं, बल्कि कई सही उत्तर हैं। इनमें से किसी भी उत्तर को सही माना जाता है। मुख्य एकत्रीकरण विधियों की सटीकता:

● बहुमत की राय 89.92% है।
● दाविद-स्केन - 90.72%।
● GLAD - 90.16%।

भीड़ की बुद्धि (LRWC) से लेक्सिकल संबंध

डेटासेट में शब्दों के बीच जीनस-प्रजाति के संबंध के बारे में रूसी भाषा के मूल वक्ताओं की राय होती है: सामान्य (हाइपरनेम) और निजी (नाम) के बीच संबंध। 2017 में शोधकर्ता दिमित्री उस्तालोव द्वारा एकत्र किया गया।

कैसे डेटा एकत्र किया गया था
अध्ययन के लिए, आधुनिक रूसी संज्ञा में सबसे अधिक उपयोग किए गए 300 को लिया गया था। थिसौरी (RuTez, RuWordNet) और हाइपरोनियम (वाट्सएप, हाइपरस्टार) के निर्माण के लिए स्वचालित विधियों का उपयोग करते हुए, 10,600 जेनरा-प्रजाति के जोड़े ("बिल्ली के बच्चे" - "स्तनपायी" प्रकार) प्राप्त किए गए थे। अध्ययन में प्रतिभागियों को सवाल का जवाब देने की जरूरत है: "क्या यह सच है कि एक बिल्ली का बच्चा स्तनपायी प्रजाति है?" प्रश्न को सही ढंग से तैयार करने के लिए, हाइपरोनोमिक को एक रूपात्मक विश्लेषक और pymorphy2 जनरेटर का उपयोग करके आनुवंशिक मामले में डाल दिया गया था।

प्रत्येक जोड़ी को 20 वर्ष से अधिक उम्र के सात रूसी भाषी कलाकारों द्वारा चिह्नित किया गया था। सभी अनुमानों के एकत्रीकरण के बाद प्राप्त परिणामों के अनुसार, 4576 जोड़े शब्दों को सकारात्मक उत्तर मिले, और 6024 - नकारात्मक। दिलचस्प बात यह है कि अध्ययन के प्रतिभागी एक सकारात्मक उत्तर की तुलना में नकारात्मक उत्तर चुनने में अधिक एकमत थे।

रूसी के लिए ह्यूमन-एनोटेटेड सेंस-डिसएम्बिग्ड वर्ड कॉन्टेक्ट्स

डेटासेट में 20 शब्दों के 2562 प्रासंगिक अर्थ होते हैं जो अर्थ अर्थ की सबसे बड़ी विविधता का प्रतिनिधित्व करते हैं। अध्ययन 2017 में दिमित्री उस्तालोव द्वारा आयोजित किया गया था।

कैसे डेटा एकत्र किया गया था
अध्ययन प्रतिभागियों को शब्द और भाषण में इसके उपयोग का एक उदाहरण दिखाया गया था। उच्चारण के संदर्भ में शब्द का अर्थ निर्धारित करना और उत्तर विकल्पों में से किसी एक को चुनना आवश्यक था।

टॉलोका बिजनेस आईडी मान्यता

इस डेटासेट के लिए, हमने संगठनों की सूचना प्लेटों की 10 हजार तस्वीरें और संख्याओं (टीआईएन और पीएसआरएन) के साथ एक फाइल तैयार की, जिसे प्लेट पर इंगित किया गया था। इस डेटा से सीख लेने के बाद, कंप्यूटर विज़न मॉडल छवि में संख्याओं के अनुक्रम को पहचानने में सक्षम होगा। डेटासेट Yandex.Directory सेवा द्वारा प्रदान किया जाता है।

कैसे डेटा एकत्र किया गया था
सबसे पहले, हमने टॉलोका मोबाइल एप्लिकेशन में कार्य को लॉन्च किया: कलाकारों को मानचित्र पर चिह्नित पते पर आने के लिए आमंत्रित किया गया था, संगठन को ढूंढें और इसकी सूचना प्लेट की तस्वीर लें। यह और अन्य फ़ील्ड कार्य Yandex.Directory में अद्यतित जानकारी को बनाए रखने में मदद करते हैं।

फिर पूर्ण किए गए कार्यों की गुणवत्ता को अन्य कलाकारों द्वारा जांचा गया। हमने डिकिन के लिए टीआईएन और पीएसआरएन के साथ फोटो भेजे। टॉलोकर्स ने तस्वीरों से इन नंबरों को फिर से छापा, जिसके बाद हमने परिणामों को संसाधित किया और एक डेटासेट बनाया।

टॉलोका एकत्रीकरण सुविधाएँ

डेटासेट में लगभग सभी कार्यों के लिए सही उत्तरों के साथ 1 हजार कार्यों में लगभग 60 हजार रेटिंग हैं। कलाकारों ने वयस्क सामग्री की उपलब्धता के अनुसार साइटों को पाँच श्रेणियों में वर्गीकृत किया। प्रत्येक कार्य के अलावा, 52 वास्तविक-मूल्यवान संकेतक संलग्न हैं जिनका उपयोग श्रेणी की भविष्यवाणी करने के लिए किया जा सकता है।

आप लिंक से डेटासेट का चयन और डाउनलोड कर सकते हैं: https://toloka.yandex.ru/datasets/ । हम इस पर ध्यान केंद्रित करने की योजना नहीं बनाते हैं और शोधकर्ताओं से आग्रह करते हैं कि वे क्राउडसोर्सिंग पर ध्यान दें और अपनी परियोजनाओं के बारे में बात करें।

यैंडेक्स शोधकर्ताओं के लिए टॉलोका डेटासेट खोलता है

टॉलोक में शोध

टोलोका सार्वजनिक डेटासेट

More articles: