कैसे यांडेक्स क्राउडसोर्सिंग प्लेटफॉर्म ड्रोन को प्रशिक्षित करने और सेवा की गुणवत्ता का मूल्यांकन करने में मदद करता है

लंबे और नीरस कार्यों में अक्सर काम का सामना करना पड़ता है, जिसके समाधान के लिए कई लोगों की आवश्यकता होती है। उदाहरण के लिए, कई सौ ऑडियो रिकॉर्डिंग को डिक्रिप्ट करें, हजारों छवियों को चिह्नित करें या टिप्पणियों को फ़िल्टर करें, जिनमें से संख्या लगातार बढ़ रही है। इन उद्देश्यों के लिए, आप दर्जनों पूर्णकालिक कर्मचारी रख सकते हैं। लेकिन इन सभी को खोजने, चयनित, प्रेरित, नियंत्रित, सुनिश्चित विकास और करियर ग्रोथ की जरूरत है। और अगर काम की मात्रा कम हो जाती है, तो उन्हें वापस लेना होगा या निकाल दिया जाएगा।

कई मामलों में, विशेष रूप से यदि विशेष प्रशिक्षण की आवश्यकता नहीं है, तो टॉल्को , यैंडेक्स क्राउडसोर्सिंग प्लेटफॉर्म के निष्पादकों द्वारा ऐसा काम किया जा सकता है। यह प्रणाली आसानी से स्केलेबल है: यदि एक ग्राहक से कम कार्य हैं, तो टोलर्स दूसरे में जाएंगे, यदि कार्यों की संख्या बढ़ जाती है, तो वे केवल खुश होंगे।

कटौती के उदाहरण हैं कि टॉलोका कैसे यांडेक्स और अन्य कंपनियों को अपने उत्पादों को विकसित करने में मदद करता है। सभी शीर्षक क्लिक करने योग्य हैं - लिंक रिपोर्ट की ओर ले जाते हैं।

चैटबॉट के साथ चैट करें और सबसे अच्छा चुनें: एमआईपीटी अनुभव

एमआईपीटी ने टोलेका का इस्तेमाल डीपहैकट.चैट हैकथॉन के हिस्से के रूप में चैट बॉट्स की गुणवत्ता का आकलन करने के लिए किया था। इसमें 6 टीमें शामिल हुईं। कार्य एक चैटबोट विकसित करना था जो व्यक्तिगत विशेषताओं के संक्षिप्त विवरण के साथ दिए गए प्रोफ़ाइल के आधार पर खुद के बारे में बात कर सकता है।



टोलोकर्स और बॉट्स को प्रोफाइल मिले और संवाद में उस व्यक्ति के होने का नाटक करना पड़ा जिसका विवरण वहां दिया गया था, अपने बारे में बताएं और वार्ताकार के बारे में और जानें। संवाद प्रतिभागियों ने एक-दूसरे की प्रोफाइल नहीं देखी।

हैकाथॉन के भीतर सभी चैट बॉट अंग्रेजी बोलने के बाद से केवल उपयोगकर्ताओं, जिन्होंने अंग्रेजी दक्षता परीक्षा पास की थी, उन्हें कार्य करने की अनुमति दी गई थी। टॉल्को के माध्यम से सीधे बॉट के साथ एक संवाद का आयोजन करना असंभव था, इसलिए टेलीग्राम चैनल का लिंक जहां टास्क बॉट लॉन्च किया गया था, कार्य में दिया गया था।



बॉट के साथ बात करने के बाद, उपयोगकर्ता को एक संवाद आईडी प्राप्त हुई, जो संवाद के मूल्यांकन के साथ मिलकर उत्तर के रूप में तोलोका में डाली गई थी।

बेईमान नियोक्ताओं को बाहर करने के लिए, यह जांचना आवश्यक था कि उपयोगकर्ता ने बॉट के साथ कितनी अच्छी बात की थी। ऐसा करने के लिए, हमने एक अलग कार्य बनाया, जिसके ढांचे में कलाकारों ने संवादों को पढ़ा और उपयोगकर्ता के व्यवहार का मूल्यांकन किया, अर्थात्, पिछले कार्य से शूटर।

हैकाथॉन के दौरान, टीमों ने अपने चैट बॉट अपलोड किए। दिन के दौरान, टोलर्स ने उनका परीक्षण किया, गुणवत्ता गिना और टीमों को स्कोर की सूचना दी, जिसके बाद डेवलपर्स ने अपने सिस्टम के व्यवहार को संपादित किया।

चार दिनों में, हैकाथॉन सिस्टम में काफी सुधार हुआ है। पहले दिन, बॉट्स के पास अनुचित और डुप्लिकेट उत्तर थे, चौथे दिन, उत्तर अधिक पर्याप्त और विस्तृत हो गए। बॉट ने न केवल सवालों का जवाब देना सीखा, बल्कि खुद से सवाल करना भी सीखा।

हैकथॉन के पहले दिन का उदाहरण संवाद:



चौथे दिन:



आँकड़े: मूल्यांकन 4 दिनों तक चला, लगभग 200 टोलरों ने इसमें भाग लिया और 1800 संवाद संसाधित किए गए। उन्होंने पहले कार्य पर $ 180 खर्च किए, और दूसरे पर $ 15। स्वयंसेवकों के साथ काम करते समय मान्य संवादों का प्रतिशत अधिक हो गया।

आसपास की वस्तुओं को पहचानने के लिए ड्रोन कैसे सिखाएं

ड्रोन के निर्माता का एक महत्वपूर्ण कार्य उसे सेंसर से प्राप्त होने वाले डेटा से आसपास की वस्तुओं के बारे में जानकारी निकालने के लिए सिखाना है। यात्रा के दौरान, कार वह सब कुछ रिकॉर्ड करती है जो वह चारों ओर देखता है। यह डेटा क्लाउड में डाला जाता है, जहां प्राथमिक विश्लेषण किया जाता है, और फिर पोस्ट-प्रोसेसिंग पर जाते हैं, जिसमें मार्कअप भी शामिल है। लेबल किए गए डेटा को मशीन लर्निंग एल्गोरिदम में भेजा जाता है, परिणाम को मशीन में लौटा दिया जाता है, और चक्र दोहराता है, जिससे वस्तु की पहचान की गुणवत्ता में सुधार होता है।

शहर में बहुत सारी वस्तुएं हैं, उन सभी को चिह्नित करने की आवश्यकता है। इस कार्य के लिए कुछ कौशल की आवश्यकता होती है और एक तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए हजारों चित्रों की आवश्यकता होती है। उन्हें खुले डेटासेट से लिया जा सकता है, लेकिन वे विदेशों में एकत्र किए जाते हैं, इसलिए छवियां रूसी वास्तविकता के अनुरूप नहीं हैं। आप कम से कम $ 4 के लिए टैग की गई छवियां खरीद सकते हैं, लेकिन टोलोक में मार्कअप लगभग 10 गुना सस्ता था।

चूंकि टोलोक में आप किसी भी इंटरफ़ेस को एम्बेड कर सकते हैं और एपीआई के माध्यम से डेटा ट्रांसफर कर सकते हैं, डेवलपर्स ने अपने स्वयं के दृश्य संपादक को सम्मिलित किया है, जिसमें परतें, पारदर्शिता, चयन, इज़ाफ़ा, विभाजन कक्षाओं में हैं। इसने कई बार मार्कअप की गति और गुणवत्ता को बढ़ाया।

इसके अलावा, एपीआई आपको कार्यों को स्वचालित रूप से सरल बनाने और टुकड़ों से परिणाम इकट्ठा करने की अनुमति देता है। उदाहरण के लिए, किसी चित्र को चिह्नित करने से पहले, आप यह चिह्नित कर सकते हैं कि कौन सी वस्तुएं उस पर हैं। यह इस बात की समझ देगा कि किस वर्ग को छवि को चिह्नित करना है।



उसके बाद, छवि में वस्तुओं को वर्गीकृत किया जा सकता है। उदाहरण के लिए, निशानेबाजों को उन चित्रों का चयन करने के लिए, जहां लोग हैं, और उन्हें यह स्पष्ट करने के लिए कहें कि क्या यह पैदल यात्री, साइकिल चालक, मोटरसाइकिल चालक या कोई और है।



जब टोलकर ने मार्कअप पूरा कर लिया है, तो उसे जांचने की आवश्यकता है। ऐसा करने के लिए, परीक्षण कार्य बनाए जाते हैं जो अन्य कलाकारों को दिए जाते हैं।



न केवल टोलकर्मी, बल्कि तंत्रिका नेटवर्क भी अंकन में लगे हुए हैं। उनमें से कुछ पहले से ही इस कार्य से निपटने के लिए सीख चुके हैं जो लोगों से बदतर नहीं हैं। लेकिन उनके काम की गुणवत्ता का भी मूल्यांकन किया जाना चाहिए। इसलिए, कार्यों में, नियोक्ताओं के साथ चिह्नित चित्रों के अलावा, एक तंत्रिका नेटवर्क के साथ भी चिह्नित हैं।

तो टोलोका सीधे तंत्रिका नेटवर्क की सीखने की प्रक्रिया में एकीकृत होता है और सभी मशीन सीखने की पाइपलाइन का हिस्सा बन जाता है।

ओजोन ऑनलाइन स्टोर में खोज गुणवत्ता का मूल्यांकन

ओजोन एक संदर्भ नमूना बनाने के लिए तोलोका का उपयोग करता है। यह कई उद्देश्यों के लिए है।

• नए खोज इंजन की गुणवत्ता का आकलन।
• सबसे प्रभावी रैंकिंग मॉडल का निर्धारण।
• मशीन लर्निंग का उपयोग करके खोज एल्गोरिदम की गुणवत्ता में सुधार करना।

पहला परीक्षण नमूना मैन्युअल रूप से बनाया गया था - हमने 100 अनुरोधों को लिया और उन्हें स्वयं चिह्नित किया। यहां तक ​​कि इस तरह के एक छोटे से नमूने ने खोज समस्याओं की पहचान करने और मूल्यांकन मानदंड निर्धारित करने में मदद की। कंपनी खोज की गुणवत्ता का आकलन करने, मूल्यांकनकर्ताओं को नियुक्त करने और उन्हें प्रशिक्षित करने के लिए अपना खुद का उपकरण बनाना चाहती थी, लेकिन इसमें बहुत अधिक समय लगेगा, इसलिए हमने एक तैयार क्राउडसोर्सिंग प्लेटफॉर्म चुनने का फैसला किया।

टोलर्स के लिए असाइनमेंट तैयार करने में सबसे कठिन चरण प्रशिक्षण था - यहां तक ​​कि कंपनी के कर्मचारी भी पहले परीक्षण असाइनमेंट नहीं कर सकते थे। टीम से प्रतिक्रिया प्राप्त करने के बाद, हमने एक नया परीक्षण विकसित किया: हमने कंपनी के लिए कलाकार के महत्वपूर्ण गुणों को ध्यान में रखते हुए सरल से जटिल और संकलित कार्यों का प्रशिक्षण बनाया।

त्रुटियों को खत्म करने के लिए, ओजोन ने एक परीक्षण चलाया। कार्य में तीन ब्लॉक शामिल थे - प्रशिक्षण, 60% सही उत्तरों की दहलीज और 80% सही उत्तरों की सीमा के साथ मुख्य कार्य। नमूने की गुणवत्ता में सुधार करने के लिए, पांच कलाकारों को एक कार्य की पेशकश की गई थी।

टेस्ट रन आंकड़े: 40 मिनट में 350 कार्य। बजट 12 डॉलर था। पहले चरण में 147 कलाकारों ने भाग लिया, 77 को प्रशिक्षित किया गया, 12 को कौशल मिला और मुख्य कार्य किया।

मुख्य लॉन्च का परिदृश्य अधिक जटिल हो गया है: न केवल नए टॉपर्स, बल्कि परीक्षण चरण में आवश्यक कौशल प्राप्त करने वाले लोगों ने भी इसमें भाग लिया। पहला मानक श्रृंखला के साथ चला गया, दूसरा तुरंत मुख्य कार्यों में भर्ती हो गया। मुख्य प्रक्षेपण में, अतिरिक्त कौशल जोड़े गए थे - मुख्य नमूने में सही उत्तरों का प्रतिशत और बहुमत की राय। पांच कलाकारों को असाइनमेंट अभी भी दिया गया था।

मुख्य लॉन्च आँकड़े: एक महीने में 40,000 नौकरियां। बजट 1150 डॉलर था। 1117 टोलर्स परियोजना में आए, 18 को कौशल मिला, 6 को सबसे बड़े मुख्य पूल तक पहुंच मिली और इसका मूल्यांकन किया गया।

अब ओजोन का टोलोक काम इस तरह है:



ठेकेदार खोज क्वेरी और 9 उत्पादों को खोज परिणामों से देखता है। उनका काम रेटिंग में से एक को चुनना है - "उपयुक्त", "उपयुक्त नहीं", "प्रतिस्थापन के लिए उपयुक्त", "अतिरिक्त", "नहीं खुलता है"। अंतिम रेटिंग साइट पर तकनीकी मुद्दों की पहचान करने में मदद करती है। उपयोगकर्ता के व्यवहार को यथासंभव सटीक रूप से अनुकरण करने के लिए, iframe के माध्यम से डेवलपर्स ने ऑनलाइन स्टोर के इंटरफ़ेस को फिर से बनाया।

टॉलोका पर कार्य के लॉन्च के समानांतर, नियमों का उपयोग करके खोज प्रश्नों का मार्कअप किया गया था। मुख्य रूप से उन्हें जारी करने में सुधार करने के लिए लोकप्रिय प्रश्नों पर जोर दिया गया था।

नियमों द्वारा किए गए मार्कअप ने कम संख्या में प्रश्नों पर जल्दी से डेटा प्राप्त करना संभव बना दिया और शीर्ष प्रश्नों पर अच्छे परिणाम दिखाए। लेकिन वहाँ भी minuses थे: अस्पष्ट अनुरोधों को नियमों से अनुमान नहीं लगाया जा सकता है, बहुत सारी विवादास्पद स्थितियां हैं। इसके अलावा, लंबे समय में, यह विधि काफी महंगी रही है।

मार्कअप लोगों की मदद से इन नुकसानों को कवर करता है। टोलोक में, आप बड़ी संख्या में कलाकारों की राय एकत्र कर सकते हैं, मूल्यांकन अधिक स्नातक है, जो आपको प्रत्यर्पण के साथ अधिक गहराई से काम करने की अनुमति देता है। प्रारंभिक सेटअप के बाद, प्लेटफ़ॉर्म सख्ती से काम करता है और बड़ी मात्रा में डेटा संसाधित करता है।

मैनुअल श्रम और कृत्रिम बुद्धि तंत्र एक दूसरे का विरोध नहीं करते हैं। जितना अधिक कृत्रिम बुद्धि विकसित होती है, उसके प्रशिक्षण के लिए उतने अधिक श्रम की आवश्यकता होती है। दूसरी ओर, बेहतर प्रशिक्षित तंत्रिका नेटवर्क हैं, अधिक नियमित कार्यों को स्वचालित किया जा सकता है, जिससे एक व्यक्ति को बचाया जा सकता है।

लगभग किसी भी, यहां तक ​​कि स्वैच्छिक, कार्य को कई छोटे लोगों में विभाजित किया जा सकता है और क्राउडसोर्सिंग के आधार पर बनाया जा सकता है। तोलोक में हल किए जाने वाले अधिकांश कार्य लोगों द्वारा एकत्र किए गए डेटा पर प्रशिक्षण मॉडल और प्रक्रियाओं को स्वचालित करने की दिशा में पहला कदम है।

इस विषय पर अगले प्रकाशन में, हम इस बारे में बात करेंगे कि ऐलिस को प्रशिक्षित करने के लिए क्राउडसोर्सिंग का उपयोग कैसे किया जाता है, मध्यम टिप्पणियों और यांडेक्स के साथ अनुपालन की निगरानी करना।