प्रतिगमन परीक्षण उत्पाद की गुणवत्ता पर काम करने का एक बहुत महत्वपूर्ण हिस्सा है। और जितने अधिक उत्पाद और तेजी से वे विकसित होते हैं, उतने ही अधिक प्रयास की आवश्यकता होती है।

यांडेक्स ने सीखा कि मूल्यांकनकर्ताओं का उपयोग करके अधिकांश उत्पादों के लिए मैनुअल परीक्षण कार्यों को कैसे स्केल किया जाए - रिमोट कर्मचारी एक टुकड़ा-दर-टुकड़ा आधार पर अंशकालिक काम कर रहे हैं, और अब नियमित परीक्षक के अलावा सैकड़ों मूल्यांकनकर्ता यांडेक्स उत्पाद परीक्षण में भाग ले रहे हैं।

यह पोस्ट कहती है:

• आपने मैन्युअल परीक्षण कार्यों को यथासंभव औपचारिक बनाने और उनके साथ सैकड़ों दूरस्थ कर्मचारियों को प्रशिक्षित करने का प्रबंधन कैसे किया;
• आपने औद्योगिक रेल पर प्रक्रिया को कैसे प्रबंधित किया, विभिन्न वातावरणों में परीक्षण प्रदान किया, गति और गुणवत्ता में एसएलए का सामना किया;
• उन्हें किन कठिनाइयों का सामना करना पड़ा और वे कैसे हल हुईं (और कुछ अभी तक तय नहीं हुई हैं);
• मूल्यांकनकर्ताओं द्वारा यैंडेक्स उत्पादों के विकास में क्या योगदान दिया गया, इससे रिलीज की आवृत्ति और याद किए जाने वाले कीड़े की संख्या को कैसे प्रभावित किया गया।

पाठ हमारे मई हाइजेनबग 2018 पाइटर सम्मेलन से ओल्गा मेगोरसकाया की रिपोर्ट के प्रतिलेख पर आधारित है:



रिपोर्ट के दिन से, कुछ नंबर बदलने में कामयाब रहे, ऐसे मामलों में हमने कोष्ठक में वास्तविक डेटा का संकेत दिया। निम्नलिखित एक पहला व्यक्ति परिप्रेक्ष्य है:

आज हम मैन्युअल परीक्षण कार्यों को बढ़ाने के लिए क्राउडसोर्सिंग तकनीकों का उपयोग करने के बारे में बात करेंगे।

मेरे पास एक अजीब नौकरी का शीर्षक है: विशेषज्ञ मूल्यांकन के विभाग के प्रमुख। मैं उदाहरणों के साथ बताने की कोशिश करूंगा कि मैं क्या करता हूं। यांडेक्स में, मेरे पास जिम्मेदारी के दो मुख्य वैक्टर हैं:



एक ओर, यह सभी क्राउडसोर्सिंग से संबंधित है। मैं हमारे क्राउडसोर्सिंग प्लेटफॉर्म Yandex.Tolok के लिए जिम्मेदार हूं।

और दूसरी तरफ, ऐसी टीमें, जो अगर आप एक सार्वभौमिक परिभाषा देने की कोशिश करती हैं, तो इसका श्रेय "बड़े पैमाने पर गैर-उत्पादक रिक्तियों" को दिया जा सकता है। इसमें हमारी हाल की परियोजनाओं में से एक सहित कई अलग-अलग चीजें शामिल हैं: भीड़ की मदद से मैन्युअल परीक्षण, जिसे हम "आकलन द्वारा परीक्षण" कहते हैं।

यैंडेक्स में मेरी मुख्य गतिविधि यह है कि मैं चित्र से बाएं और दाएं कॉलम को एक साथ लाता हूं और क्राउडसोर्सिंग का उपयोग करके बड़े पैमाने पर उत्पादन में कार्यों और प्रक्रियाओं का अनुकूलन करने का प्रयास करता हूं। और आज हम केवल परीक्षण कार्यों के उदाहरण का उपयोग करके इसके बारे में बात करेंगे।

क्राउडसोर्सिंग क्या है?

शुरुआत करते हैं कि क्राउडसोर्सिंग क्या है। हम कह सकते हैं कि यह उन मामलों में तथाकथित "भीड़ की बुद्धि" के साथ एक विशेष विशेषज्ञ की विशेषज्ञता का प्रतिस्थापन है जहां किसी विशेषज्ञ की विशेषज्ञता या तो बहुत महंगी है या पैमाने पर मुश्किल है।

कई वर्षों से विभिन्न क्षेत्रों में क्राउडसोर्सिंग का सक्रिय रूप से उपयोग किया गया है। उदाहरण के लिए, नासा को क्राउडसोर्सिंग परियोजनाओं का बहुत शौक है। वहां, "भीड़" की मदद से, वे आकाशगंगा में नई वस्तुओं का पता लगाते हैं और खोजते हैं। यह एक बहुत ही मुश्किल काम लगता है, लेकिन क्राउडसोर्सिंग की मदद से यह काफी सरल हो जाता है। एक विशेष साइट है , जिस पर स्पेस टेलीस्कोप द्वारा ली गई सैकड़ों-हज़ारों तस्वीरें पोस्ट की गई हैं, और वे किसी से भी पूछते हैं, जो वहां मौजूद वस्तुओं की खोज करना चाहते हैं। और जब बहुत सारे लोग संदिग्ध रूप से उस वस्तु के समान पाए जाते हैं जिसकी उन्हें आवश्यकता होती है, तो उच्च-स्तरीय विशेषज्ञ पहले से ही जुड़े होते हैं और इसका पता लगाने लगते हैं।

सामान्यतया, क्राउडसोर्सिंग एक ऐसी विधि है, जब हम कुछ बड़े उच्च स्तरीय कार्य करते हैं और इसे कई सरल और सजातीय उप-प्रकारों में विभाजित करते हैं, जिसमें कई स्वतंत्र कलाकार एकत्रित होते हैं। कलाकारों में से प्रत्येक इन छोटे कार्यों में से एक या कई को हल कर सकता है, और सभी मिलकर अंततः एक बड़े सामान्य कारण के लिए काम करते हैं और एक उच्च-स्तरीय कार्य के लिए महान परिणाम एकत्र करते हैं।

यांडेक्स क्राउडसोर्सिंग

हमने अपने क्राउडसोर्सिंग सिस्टम को विकसित करने के लिए कई साल पहले ही शुरू कर दिया है। प्रारंभ में, इसका उपयोग मशीन लर्निंग से संबंधित कार्यों के लिए किया गया था: प्रशिक्षण डेटा एकत्र करने के लिए, तंत्रिका नेटवर्क को कॉन्फ़िगर करने के लिए, एल्गोरिथम, और इसी तरह।



हमारा क्राउडसोर्सिंग इकोसिस्टम कैसे काम करता है? सबसे पहले, हमारे पास Yandex.Toloka है । यह एक खुला क्राउडसोर्सिंग प्लेटफ़ॉर्म है जिस पर कोई भी ग्राहक के रूप में पंजीकरण कर सकता है (अपने कार्यों को पोस्ट कर सकता है, उनके लिए एक मूल्य निर्धारित कर सकता है और डेटा एकत्र कर सकता है), या एक निष्पादक के रूप में (दिलचस्प कार्य खोजें, उन्हें पूरा करें और एक छोटा इनाम प्राप्त करें)। हमने कुछ साल पहले सीलिंग शुरू की थी। अब हमारे पास एक मिलियन से अधिक पंजीकृत कलाकार हैं (हम उन्हें टॉकर्स कहते हैं), और सिस्टम में हर दिन लगभग 17,000 लोग पूर्ण कार्य करते हैं।

चूँकि हमने शुरू में मशीन सीखने से संबंधित कार्यों पर एक नज़र के साथ तोलोका का निर्माण किया, यह परंपरागत रूप से प्रथागत रहा है कि टोलर्स द्वारा किए जाने वाले अधिकांश कार्य ऐसे कार्य होते हैं जो किसी व्यक्ति के लिए बहुत सरल और तुच्छ होते हैं, लेकिन फिर भी एल्गोरिथ्म के लिए काफी मुश्किल है। उदाहरण के लिए, एक फोटो देखें और कहें कि उसमें वयस्क सामग्री है या नहीं, या एक ऑडियो रिकॉर्डिंग सुनें और जो आपने सुना है उसे डिक्रिप्ट करें।

टॉलोका प्रदर्शन और डेटा की मात्रा के मामले में एक बहुत शक्तिशाली उपकरण है जो इसे इकट्ठा करने में मदद करता है, लेकिन उपयोग करने के लिए गैर-तुच्छ है। तस्वीर में मौजूद लोगों ने पीले बलकलेवा पहने हुए हैं क्योंकि तोलोक में सभी कलाकार ग्राहकों के लिए गुमनाम और अज्ञात हैं। और इन हजारों अनामियों को प्रबंधित करने के लिए, यह सुनिश्चित करने के लिए कि वे ठीक वही करते हैं जो आपको चाहिए, यह आसान काम नहीं है। इसलिए, हमारे पास सभी कार्य नहीं हैं, हम अब तक इस "जंगली" भीड़ की मदद से हल करने में सक्षम हैं। यद्यपि हम इसके लिए प्रयास करते हैं, लेकिन मैं इस बारे में और अधिक बाद में कहूंगा।

इसलिए, उच्च-स्तरीय कार्यों के लिए, हमारे पास अगले स्तर के कलाकार हैं। ये वे लोग हैं जिन्हें हम मूल्यांकनकर्ता कहते हैं। शब्द "मूल्यांकनकर्ता" थोड़ा अजीब हो सकता है। यह शब्द "मूल्यांकन", यानी "मूल्यांकन" से आया है, क्योंकि शुरू में मूल्यांकनकर्ता हमारे साथ खोज परिणामों की गुणवत्ता के व्यक्तिपरक आकलन एकत्र करने के लिए उपयोग किए गए थे। यह डेटा तब खोज रैंकिंग फ़ंक्शन सीखने वाली मशीन के लिए लक्ष्य के रूप में उपयोग किया गया था। तब से, बहुत समय बीत चुका है, मूल्यांकनकर्ताओं ने कई अन्य कार्यों को करना शुरू किया है, इसलिए अब यह एक घरेलू शब्द है: कार्य बदल गए हैं, लेकिन शब्द बना हुआ है।

वास्तव में, हमारे मूल्यांकनकर्ता यांडेक्स के पूर्णकालिक कर्मचारी हैं, लेकिन अंशकालिक और पूरी तरह से दूरस्थ रूप से काम करते हैं। ये वे लोग हैं जो अपने उपकरणों पर काम करते हैं। हम केवल उनके साथ दूर से बातचीत करते हैं: हम उन्हें दूर से चुनते हैं, उन्हें दूर से प्रशिक्षित करते हैं, उनके साथ दूर से काम करते हैं और यदि आवश्यक हो, तो उन्हें दूर से आग लगाते हैं। उनमें से अधिकांश के साथ, हम कभी भी व्यक्ति में जीवन में अंतर नहीं करते हैं। वे दिन या रात अपने लिए सुविधाजनक किसी भी शेड्यूल के अनुसार काम करते हैं: उनके पास सप्ताह में लगभग 10-15 घंटे के बराबर न्यूनतम मानक होते हैं, और वे इस समय इस तरह से काम कर सकते हैं जो उनके अनुरूप हो। मूल्यांकनकर्ता विभिन्न प्रकार की समस्याओं का समाधान करते हैं: वे खोज से जुड़े होते हैं, और तकनीकी सहायता से, और कुछ निम्न-स्तरीय अनुवादों के साथ, और परीक्षण के साथ, जिसके बारे में हम बाद में बात करेंगे।

एक नियम के रूप में, कोई फर्क नहीं पड़ता कि हम किस कार्य को लेते हैं, सबसे प्रतिभाशाली लोग हमेशा मूल्यांकनकर्ताओं के समूह से बाहर रहते हैं जो इसे बेहतर प्रदर्शन करते हैं, जिनके लिए यह कार्य अधिक दिलचस्प है। हम उन्हें एकल करते हैं, उन्हें सुपर-स्पीकर के जोर से शीर्षक के साथ बंद करते हैं, और ये लोग पहले से ही क्यूरेटर के उच्च-स्तरीय कार्य कर रहे हैं: वे अन्य लोगों के काम की गुणवत्ता की जांच करते हैं, उनसे परामर्श करते हैं, उनका समर्थन करते हैं, और इसी तरह।

और केवल हमारे पिरामिड के शीर्ष पर हमारे पास पहला पूर्णकालिक कर्मचारी है जो कार्यालय में बैठता है और इन प्रक्रियाओं का प्रबंधन करता है। हमारे पास बहुत कम ऐसे लोग हैं जो पहले से ही बहुत उच्च स्तर पर हैं और उनके पास मजबूत तकनीकी और प्रबंधकीय कौशल हैं, शाब्दिक रूप से कुछ। इस तरह की प्रणाली हमें इस निष्कर्ष पर पहुंचने की अनुमति देती है कि "उच्च-स्तरीय" लोगों की ये इकाइयां पाइपलाइन का निर्माण करती हैं और उत्पादन श्रृंखलाओं का प्रबंधन करती हैं, जिसमें दसियों, सैकड़ों और यहां तक ​​कि हजारों लोग आगे शामिल होते हैं।

अपने आप से, यह योजना नई नहीं है, फिर भी चंगेज खान ने इसे सफलतापूर्वक लागू किया। उसके पास कई दिलचस्प गुण हैं जिनका हम उपयोग करने की कोशिश कर रहे हैं। पहली संपत्ति बहुत स्पष्ट है - इस तरह की योजना को स्केल करना बहुत आसान है। यदि किसी कार्य को अचानक अधिक करने की आवश्यकता है, तो हमें कहीं व्यक्ति को लगाने के लिए कार्यालय में अतिरिक्त स्थान की तलाश करने की आवश्यकता नहीं है। सामान्य तौर पर, हम इस बारे में बहुत कम विचार कर सकते हैं: बस अधिक पैसा डालना, इस पैसे के लिए अधिक कलाकारों को किराए पर लेना, और अकादमिक कैप में अधिक प्रतिभाशाली लोग शायद इन कलाकारों से बाहर हो जाएंगे, और यह पूरी प्रणाली पैमाने पर जारी रहेगी।
दूसरी संपत्ति (और यह मेरे लिए आश्चर्य की बात थी) यह है कि इस तरह के पिरामिड को विषय क्षेत्र की परवाह किए बिना बहुत अच्छी तरह से दोहराया जाता है जिसमें इसे लागू किया जाता है। यह उस क्षेत्र पर भी लागू होता है जिसके बारे में हम आज बात करने जा रहे हैं - मैनुअल परीक्षण कार्य।

भीड़ परीक्षण

जब हमने भीड़ की मदद से परीक्षण प्रक्रिया शुरू की, तो सबसे बड़ी समस्या एक सकारात्मक संदर्भ की कमी थी। ऐसा कोई अनुभव नहीं था जिसे हम संदर्भित कर सकते हैं और कह सकते हैं: "ठीक है, इन लोगों ने ऐसा किया, वे पहले से ही हमारे जैसे सर्किट में भीड़ की मदद से परीक्षण कर रहे हैं, और वहां सब कुछ ठीक है, जिसका अर्थ है कि हमारे साथ सबकुछ ठीक हो जाएगा।" इसलिए, हमें केवल अपने व्यक्तिगत अनुभव पर निर्भर रहना था, जो कि परीक्षण के विषय क्षेत्र से अलग था और इसी तरह की उत्पादन प्रक्रियाओं को स्थापित करने के लिए अधिक संबंधित था, लेकिन अन्य क्षेत्रों में।

इसलिए, हमें वह करना था जो हम कर सकते हैं। हम क्या कर सकते हैं? संक्षेप में, अलग-अलग कठिनाई स्तरों के कार्यों में एक कार्य को विघटित करना और उन्हें हमारे पिरामिड के फर्श के साथ बिखेरना। आइए देखें कि हमें क्या मिला।

सबसे पहले, हमने उन कार्यों को देखा, जो यैंडेक्स में हमारे परीक्षक व्यस्त हैं और उन्हें कठिनाई के विभिन्न स्तरों पर इन कार्यों को सशर्त रूप से बिखेरने के लिए कहा है। यह एक "अस्पताल का औसत" है:



उन्होंने अनुमान लगाया कि उनका केवल 57% समय जटिल उच्च-स्तरीय कार्यों पर खर्च किया जाता है, और कहीं-कहीं लगभग 20% एक बहुत ही निम्न-स्तरीय दिनचर्या पर खर्च किया जाता है, जिसे हर कोई निकालना चाहता है, और कार्यों पर थोड़ा और अधिक जटिल होता है, जो कि प्रत्यायोजित भी लगता है। इन आंकड़ों से उत्साहित, यह दिखाते हुए कि लगभग आधे काम को कहीं स्थानांतरित किया जा सकता है, हम भीड़ का उपयोग करके परीक्षण का निर्माण करने के लिए आगे बढ़े।

हमारे लक्ष्य क्या हैं?

• परीक्षण को अब अड़चन न बनाएं कि यह रिलीज की तैयार होने पर समय-समय पर उत्पादन प्रक्रियाओं में दिखाई देता है, लेकिन यह परीक्षण के पारित होने का इंतजार करता है।
• हमारे शांत, बहुत स्मार्ट, उच्च-स्तरीय विशेषज्ञ - पूर्णकालिक परीक्षक - नियमित रूप से, दिलचस्प और उच्च-स्तरीय कार्यों के साथ उन पर कब्जा करें।
• वातावरण की विविधता को बढ़ाएं जिसमें हम उत्पादों का परीक्षण करते हैं।
• चोटी के भार को संभालना सीखना क्योंकि हमारे परीक्षकों ने कहा कि उनके पास अक्सर असमान भार होता है। यहां तक ​​कि अगर, औसतन, एक टीम कार्यों का सामना करती है, जब एक चोटी होती है, तो इसे रेक करने के लिए बहुत लंबा समय लगता है।
• चूंकि यैंडेक्स में हमने अभी भी कुछ परियोजनाओं में आउटसोर्सिंग परीक्षण पर काफी पैसा खर्च किया है, हमने सोचा कि हम कुछ और परिणाम प्राप्त करना चाहेंगे और हमारे द्वारा खर्च किए गए पैसे के लिए हमारे आउटसोर्सिंग खर्चों को अनुकूलित करेंगे।

मैं इस बात पर जोर देना चाहता हूं कि इन लक्ष्यों के बीच परीक्षकों को भीड़ से बदलने का कोई काम नहीं है, किसी तरह उन्हें उल्लंघन करना है, और इसी तरह। हम सभी करना चाहते थे कि निम्न-स्तरीय दिनचर्या को समाप्त करते हुए, परीक्षण टीमों की मदद करें।

आइए देखें कि हमने क्या किया। मैं अभी यह कहना चाहूंगा कि परीक्षण के मुख्य कार्य अब "पिरामिड" के निम्नतम स्तर, टोलरों द्वारा नहीं, बल्कि मूल्यांकनकर्ताओं, हमारे स्टाफ के सदस्यों द्वारा किए जाते हैं। इसके अलावा, हम उनके बारे में मुख्य रूप से चर्चा करेंगे, सिवाय बहुत अंत के।

मूल्यांकनकर्ता अब हमारे लिए प्रतिगमन परीक्षण के कार्य कर रहे हैं और वे सभी प्रकार के चुनाव कर रहे हैं जैसे "इस एप्लिकेशन को देखें और अपनी प्रतिक्रिया छोड़ें"। लगभग 300 लोग अब पूर्ण रूप से भर्ती कार्य के लिए योग्य हैं ( नोट: क्योंकि रिपोर्ट 500 हो गई )। लेकिन यह आंकड़ा सशर्त है, क्योंकि हमने जो प्रणाली बनाई है, वह एक मनमानी संख्या में लोगों के लिए काम करती है: जितनी हमें जरूरत है। अब हमारी उत्पादन जरूरतों को लगभग इतने लोगों द्वारा कवर किया जाता है। इसका मतलब यह नहीं है कि समय के प्रत्येक क्षण में वे सभी तैयार हैं और कार्य को पूरा करने के लिए तैयार हैं: चूंकि मूल्यांकनकर्ता एक लचीली अनुसूची में काम करते हैं, किसी भी समय, 100-150 लोग कनेक्ट करने के लिए तैयार हैं। लेकिन कलाकारों का पूल उसी के बारे में है। और सरल कार्य, जैसे चुनाव, जब आपको उपयोगकर्ताओं से अनौपचारिक प्रतिक्रिया एकत्र करने की आवश्यकता होती है, तो हम बहुत अधिक लोगों के माध्यम से जाते हैं: ऐसे सर्वेक्षणों में सैकड़ों और हजारों मूल्यांकनकर्ता भाग लेते हैं।

चूंकि ये ऐसे लोग हैं जो अपने उपकरणों पर काम करते हैं, प्रत्येक मूल्यांकनकर्ता के पास अपने निजी उपकरण होते हैं। यह, डिफ़ॉल्ट रूप से, एक डेस्कटॉप और कुछ प्रकार का मोबाइल डिवाइस है। तदनुसार, हम मूल्यांकनकर्ताओं के व्यक्तिगत उपकरणों पर अपने उत्पादों का परीक्षण करते हैं। लेकिन यह स्पष्ट है कि उनके पास सभी संभव उपकरण नहीं हैं, इसलिए यदि हमें कुछ दुर्लभ वातावरण में परीक्षण की आवश्यकता होती है, तो हम डिवाइस फार्म के माध्यम से दूरस्थ पहुंच का उपयोग करते हैं।

अब भीड़ परीक्षण पहले से ही लगभग 40 के लिए एक मानक उत्पादन प्रक्रिया के रूप में उपयोग किया जाता है ( लगभग। अब 60 ) यांडेक्स सेवाओं और टीमों: ये मेल, डिस्क और ब्राउज़र (मोबाइल और डेस्कटॉप), और मैप्स, और खोज, और कई हैं जो। यह जिज्ञासु है। जब हमने 2017 की गिरावट में तीसरी तिमाही के अंत के लिए खुद को योजना बनाई, तो हमारा एक महत्वाकांक्षी लक्ष्य था: कम से कम किसी तरह, "यहां तक ​​कि धोखाधड़ी से, यहां तक ​​कि रिश्वत देकर भी" आकर्षित करने के लिए, कम से कम पांच टीमें जो भीड़ की मदद से हमारी परीक्षण प्रक्रियाओं का उपयोग करेंगी। और हमने सभी को बहुत मनाया, कहा: "डरो मत, चलो, कोशिश करो!" लेकिन कुछ ही महीनों के बाद, हमारे पास दर्जनों टीमें थीं।

और अब हम एक और समस्या हल कर रहे हैं: अधिक से अधिक नई टीमों को जोड़ने के लिए कैसे प्रबंधित करें जो इन प्रक्रियाओं में शामिल होना चाहते हैं। तो हम मान सकते हैं कि अब यह पहले से ही यैंडेक्स में मानक अभ्यास है, जो बहुत अच्छी तरह से उड़ता है।

उत्पादन संकेतकों के संदर्भ में हमने क्या किया? अब हम प्रति दिन प्रतिगमन परीक्षण के लगभग 3,000 मामलों को कर रहे हैं ( नोट: अक्टूबर 2018 तक, पहले से ही 7,000 मामले हैं )। आकार के आधार पर टेस्ट रन, कई घंटों से लेकर (चरम पर) 2 दिन तक होता है। अधिकांश एक दिन के भीतर कुछ घंटों में गुजरता है। इस तरह की प्रणाली की शुरुआत ने हमें उस अवधि की तुलना में लागत को लगभग 30% कम करने की अनुमति दी जब हमने आउटसोर्सिंग का उपयोग किया था। इसने टीमों को अधिक बार, औसतन, कई बार रिलीज़ करने की अनुमति दी, क्योंकि रिलीज़ विकास के लिए उपलब्ध गति से गुजरना शुरू हुई थी, न कि वह जो परीक्षण के लिए उपलब्ध थी, जब यह कभी-कभी अड़चन बन जाती थी।

अब मैं यह बताने की कोशिश करूंगा कि हमने आम तौर पर उत्पादन प्रक्रिया कैसे बनाई, जिसने हमें इस योजना में आने की अनुमति दी।

आधारभूत संरचना

तकनीकी बुनियादी ढांचे के साथ शुरू करते हैं। आप में से जिन्होंने टोलेका को एक मंच के रूप में देखा है, कल्पना करें कि इसका इंटरफ़ेस कैसा दिखता है: आप सिस्टम में लॉग इन कर सकते हैं, उन कार्यों का चयन कर सकते हैं जो आपकी रुचि रखते हैं, और उन्हें पूरा करें। आंतरिक कर्मचारियों के लिए, हमारे पास टोलोका का एक आंतरिक उदाहरण है, जिसमें हम, अन्य बातों के अलावा, हमारे मूल्यांकनकर्ताओं के लिए विभिन्न प्रकार के कार्यों को वितरित करते हैं।



चित्र दिखाता है कि यह इंटरफ़ेस कैसा दिखता है। यहां आप मूल्यांकनकर्ता के लिए उपलब्ध कार्यों को देख सकते हैं: यहां परीक्षण के लिए कई कार्य हैं और विभिन्न प्रकार के कई कार्य हैं, जो इस उदाहरण से मूल्यांकनकर्ता भी जानता है कि कैसे प्रदर्शन करना है। और इसलिए वह व्यक्ति आता है, फिलहाल उसे उपलब्ध कार्यों को देखता है, "आगे बढ़ें" पर क्लिक करता है, विश्लेषण के लिए परीक्षण के मामले प्राप्त करता है और उसे बाहर ले जाने के लिए शुरू होता है।

हमारे बुनियादी ढांचे का एक महत्वपूर्ण हिस्सा खेतों है। सभी डिवाइस हाथ में नहीं हैं, इसलिए कार्य वास्तव में है, एक युगल: एक परीक्षण का मामला और पर्यावरण जिसमें आपको इसकी जांच करने की आवश्यकता है। जब कोई व्यक्ति प्रोसीड बटन पर क्लिक करता है, तो सिस्टम यह देखने के लिए जांचता है कि क्या उसके पास एक वातावरण है जिसमें परीक्षण करना है। यदि वहाँ है, तो व्यक्ति बस कार्य लेता है और इसे एक व्यक्तिगत डिवाइस पर परीक्षण करता है। यदि नहीं, तो हम इसे खेत में रिमोट एक्सेस के माध्यम से भेजते हैं।



चित्र दिखाता है कि मोबाइल फार्म के उदाहरण का उपयोग करके यह कैसा दिखता है। तो एक व्यक्ति दूर से एक मोबाइल फोन से जुड़ता है जो खेत में हमारे कार्यालय में स्थित है। Android के लिए, हम OpenSTF ओपन सोर्स समाधान का उपयोग करते हैं। आईओएस के लिए कोई अच्छा समाधान नहीं हैं - इस हद तक कि हम पहले ही अपना बना चुके हैं (लेकिन हम अगली बार इस बारे में विस्तार से बात करेंगे), क्योंकि हमें या तो खुला स्रोत नहीं मिला या ऐसा कुछ जो खरीदने के लिए समझ में आए। यह स्पष्ट है कि खेत उन मामलों में उपयोगी है जहां हमारे पास ऐसे लोग नहीं हैं जिनके पास सही उपकरण हैं। और इसका एक और महत्वपूर्ण प्लस यह है कि खेत की बहुत अधिक उपयोग दर है: जब भी और कोई भी व्यक्ति आता है, तो हम इसे किसी भी समय खेत में भेज सकते हैं। यह व्यक्ति में उपकरणों को सौंपने से बेहतर है, क्योंकि किसी व्यक्ति को सौंपे गए उपकरण काम के लिए तभी उपलब्ध होते हैं जब वह व्यक्ति काम करने के लिए तैयार होता है।

हमने तकनीकी मूल्यांकन से हमारे मूल्यांकनकर्ताओं के लिए इसे कैसे लागू किया गया था, इस बारे में थोड़ी बात की, और अब मेरे लिए सबसे दिलचस्प हिस्सा: इस सिद्धांत का कि हमने इस उत्पादन को कैसे व्यवस्थित किया।

भीड़ में उत्पादन के संगठन के सिद्धांत

मेरे लिए इस परियोजना में यह दिलचस्प था कि विषय क्षेत्र बहुत विशिष्ट प्रतीत होता है, लेकिन उत्पादन के आयोजन के सभी सिद्धांत काफी सार्वभौमिक हैं: वही जो अन्य विषय क्षेत्रों में बड़े पैमाने पर उत्पादन के आयोजन में उपयोग किए जाते हैं।

1. औपचारिककरण

पहला सिद्धांत (सबसे महत्वपूर्ण नहीं, लेकिन सबसे महत्वपूर्ण, हमारे "व्हेल, हाथी और कछुए" में से एक) कार्यों का औपचारिककरण है। मुझे लगता है कि आप सभी को यह पता है। लगभग किसी भी कार्य को स्वयं करना सबसे आसान है। अपने सहयोगी को समझाने के लिए थोड़ा कठिन है जो कमरे में आपके बगल में बैठा है ताकि वह वही करे जो आपको चाहिए। और कार्य यह सुनिश्चित करना है कि सैकड़ों कलाकार जिन्हें आपने कभी नहीं देखा है, जो किसी भी समय मनमाने ढंग से काम करते हैं, ठीक उसी तरह से करें जो आप उनसे उम्मीद करते हैं - यह कार्य परिमाण के कई आदेश अधिक जटिल हैं और इसमें प्रवेश करने के बजाय उच्च सीमा का अर्थ है ऐसा करना शुरू करें। परीक्षण कार्यों के संदर्भ में, हमारे साथ कार्य, निश्चित रूप से, एक परीक्षण मामला है जिसे पारित करने और संसाधित करने की आवश्यकता है।

और भीड़ परीक्षण जैसे कार्य में उनका उपयोग करने में सक्षम होने के लिए कौन से परीक्षण मामले होने चाहिए?

सबसे पहले - और यह पता चला कि यह बिल्कुल भी मामला नहीं है - परीक्षण के मामले आम तौर पर होने चाहिए।ऐसे समय में जब टीमें हमारे पास आईं, जो मूल्यांकनकर्ताओं द्वारा परीक्षण से जुड़ना चाहते थे, हमने कहा: "महान, अपने परीक्षण के मामले लाएं, हम उनके माध्यम से जाएंगे!" इस समय, ग्राहक उदास था, छोड़ दिया, हमेशा वापस नहीं लौटा। इस तरह की कई अपील के बाद, हमने महसूस किया कि मुझे इस जगह पर मदद की जरूरत है। क्योंकि अगर किसी सेवा की टीम का एक परीक्षक खुद नियमित रूप से अपनी सेवाओं का परीक्षण करता है, तो उसे वास्तव में पूर्ण, अच्छी तरह से वर्णित परीक्षण मामलों की आवश्यकता नहीं है। और अगर हम इस कार्य को बड़ी संख्या में कलाकारों को सौंपना चाहते हैं, तो हम बस इसके बिना नहीं कर सकते।

लेकिन उन मामलों में भी जब सभी पर परीक्षण के मामले थे, वे लगभग हमेशा केवल उन लोगों के लिए समझ में आते थे जो सेवा में बहुत गहराई से डूबे हुए हैं। और अन्य सभी लोग जो संदर्भ से बाहर हैं, यह समझना बहुत मुश्किल था कि यहां क्या हो रहा है और क्या करने की आवश्यकता है। इसलिए, परीक्षण मामलों को संशोधित करना महत्वपूर्ण था ताकि वे संदर्भ में डूबे हुए व्यक्ति के लिए समझ में न आएं।

और आखिरी बात: यदि हम परीक्षण कार्य को कड़ाई से औपचारिक गुजर विशिष्ट मामलों में कम करते हैं, तो यह सुनिश्चित करना बहुत महत्वपूर्ण है कि ये मामले लगातार अद्यतन, अद्यतन और अद्यतन हैं।

मैं कुछ उदाहरण दूंगा।



उदाहरण के लिए, ऊपर दी गई तस्वीर हमारी मूल टोलोक सेवा से एक अच्छा मामला दिखाती है, जिसमें आपको कलाकार प्रोफ़ाइल की शुद्धता की जांच करने की आवश्यकता है। हर चीज चरणों में टूट जाती है। हर कदम उठाया जाना है। हर कदम पर क्या होना चाहिए, इसकी एक उम्मीद है। ऐसा मामला किसी को भी स्पष्ट होगा।



और यहाँ इस तरह के एक सफल मामले का उदाहरण नहीं है। सामान्य तौर पर, यह स्पष्ट नहीं है कि क्या हो रहा है। वर्णन वहाँ लगता है, लेकिन वास्तव में - यह क्या है, आप मुझसे क्या चाहते हैं? इस तरह के मामले - यह अभी दूर नहीं है, वे बहुत बुरी तरह से गुजरते हैं।

हमने परीक्षण मामलों को औपचारिक रूप देने की प्रक्रिया का निर्माण कैसे किया ताकि, सबसे पहले, हम उन सभी के पास थे, लगातार दिखाई दिए और फिर से भर दिए गए, और दूसरी बात, कि वे मूल्यांकनकर्ताओं के लिए पर्याप्त रूप से समझ गए थे?

परीक्षण और त्रुटि के माध्यम से, हम इस योजना में आए:



, - , , , -, .

-, -. , ? , - , , -, .

उसके बाद, हम एक मामले में भाग लेते हैं: हम मूल्यांकनकर्ताओं को असाइनमेंट देते हैं और प्रतिक्रिया एकत्र करते हैं। इस प्रक्रिया का आयोजन इसलिए किया जाता है कि अगर कोई व्यक्ति यह नहीं समझ पाता है कि परीक्षण के मामले में उसकी क्या आवश्यकता है, तो वह इसे छोड़ देता है। एक नियम के रूप में, पहली बार के बाद पास का एक बड़ा प्रतिशत है। वैसे भी, हमने पिछले चरण में परीक्षण मामलों को कितनी अच्छी तरह औपचारिक रूप दिया था, यह अनुमान लगाना कभी भी असंभव नहीं है कि लोगों के लिए क्या समझ से बाहर होगा। इसलिए, पहला रन लगभग हमेशा एक परीक्षण संस्करण है, इसका सबसे महत्वपूर्ण कार्य प्रतिक्रिया एकत्र करना है। हमने प्रतिक्रिया एकत्र करने के बाद, मूल्यांकनकर्ताओं से टिप्पणियां प्राप्त कीं, सीखा कि उन्होंने क्या समझा और क्या नहीं था, हम एक बार फिर से परीक्षण के मामलों को फिर से लिखते हैं। और कुछ पुनरावृत्तियों के बाद हम शांत हो जाते हैं, बहुत स्पष्ट रूप से तैयार किए गए परीक्षण मामले जो सभी के लिए समझ में आते हैं।

इस ख़बर का एक दिलचस्प दुष्प्रभाव है। सबसे पहले, यह पता चला कि इतनी सारी टीमों के लिए यह आम तौर पर एक हत्यारा विशेषता है। हर कोई हमारे पास आता है और कहता है: "क्या तुम सच में मेरे लिए टेस्ट केस लिख सकते हो?" यह सबसे महत्वपूर्ण चीज है जो हम अपने ग्राहकों को आकर्षित करते हैं। दूसरा प्रभाव, मेरे लिए अप्रत्याशित - परीक्षण के मामलों में आदेश का अन्य लंबित प्रभाव है। उदाहरण के लिए, हमारे पास तकनीकी लेखक हैं जो उपयोगकर्ता प्रलेखन लिखते हैं, और इस तरह के अच्छी तरह से डिज़ाइन किए गए और समझने योग्य परीक्षण मामलों के आधार पर लिखना उनके लिए बहुत आसान है। पहले, उन्हें यह पता लगाने के लिए सेवा को विचलित करना था कि क्या वर्णित किया जाना चाहिए, लेकिन अब हम अपने स्पष्ट और शांत परीक्षण मामलों का उपयोग कर सकते हैं।

मैं एक उदाहरण दूंगा।



हमारे मांस की चक्की के माध्यम से जाने से पहले यह परीक्षण मामला जैसा दिखता था: यह बहुत ही डरावना है, विवरण क्षेत्र में नहीं भरा गया है, यह कहता है "ठीक है, आवेदन में स्क्रीनशॉट को देखें" और यह वह है।



इस तरह वह फिर से लिखना शुरू कर दिया - प्रत्येक कदम पर कदम और अपेक्षाओं को जोड़ा। इतना बेहतर पहले से ही है। ऐसे परीक्षण मामले के साथ काम करना बहुत अधिक सुखद है।

2. स्केलेबल लर्निंग

अगला कार्य मेरा पसंदीदा है, सबसे अधिक, यह मुझे लगता है, इस सब में रचनात्मक। यह एक स्केलेबल सीखने का कार्य है। हमारे लिए इस तरह की संख्याओं के साथ काम करने के लिए - "यहां हमारे 200 मूल्यांकनकर्ता हैं, यहां 1,000 हैं, और यहां सामान्य रूप से हर दिन 17,000 टॉकर्स काम करते हैं" - लोगों को जल्दी और कुशलता से प्रशिक्षित करने में सक्षम होना महत्वपूर्ण है।


ऐसी प्रणाली में आना बहुत महत्वपूर्ण है जब आप एक विशिष्ट विशेषज्ञ को प्रशिक्षण देने की तुलना में लोगों की मनमानी संख्या को प्रशिक्षित करने में अधिक समय नहीं देते हैं। यह, उदाहरण के लिए, आउटसोर्सिंग के साथ काम करते समय हमने जो सामना किया है। विशेषज्ञ बहुत शांत हैं, लेकिन काम के संदर्भ में उन्हें विसर्जित करने के लिए, सेवा में बहुत समय लगता है, और आउटपुट में हमें अभी भी एक व्यक्ति मिलता है जो छह महीने के लिए संदर्भ में डूब जाता है। और यह एक बहुत ही स्केलेबल स्कीम है। यह पता चलता है कि प्रत्येक अगले व्यक्ति को एक और छह महीने के लिए कार्य के संदर्भ में डूबने की आवश्यकता है। और इस अड़चन का विस्तार करना आवश्यक था।

किसी भी सामूहिक रिक्तियों के लिए, न केवल परीक्षण में, हम कई चैनलों के माध्यम से लोगों की भर्ती करते हैं। परीक्षण के लिए, हम ऐसा करते हैं। सबसे पहले, हम उन लोगों को आकर्षित करते हैं, जो सिद्धांत रूप में, परीक्षण कार्यों में रुचि रखते हैं, लोग कहीं और कनिष्ठ परीक्षकों के स्तर पर हैं, उनके लिए यह एक अच्छी शुरुआत है, विषय क्षेत्र में विसर्जन। लेकिन बाजार में अभी भी सीमित संख्या में ऐसे लोग हैं, और हमें चाहिए कि हम लोगों को काम पर रखने पर कोई प्रतिबंध नहीं है, ताकि हम कलाकारों की संख्या पर कभी भी आराम न करें।

इसलिए, इन कार्यों के लिए विशेष रूप से परीक्षक खोजने के अलावा, हम ऐसे लोगों का एक समूह तैयार करते हैं, जिन्होंने बस मूल्यांकनकर्ता की सामान्य स्थिति पर प्रतिक्रिया दी। हम इस दृष्टिकोण के बारे में प्रचार कर रहे हैं: कोई फर्क नहीं पड़ता कि लोग आपको क्या लेते हैं, अगर उनमें से बहुत सारे हैं, तो आप एक प्रक्रिया का निर्माण कर सकते हैं ताकि आप उनमें से सबसे अधिक सक्षम का चयन करें और उन्हें उस समस्या को हल करने के लिए निर्देशित करें जिसका आप पीछा कर रहे हैं। परीक्षण के संदर्भ में, हम प्रशिक्षण का निर्माण करते हैं ताकि उन लोगों की मनमानी संभव हो, जिन्हें कम से कम न्यूनतम बुनियादी बातों को सिखाने के लिए परीक्षण के बारे में कुछ भी नहीं पता था ताकि वे कुछ समझना शुरू कर दें। इस दृष्टिकोण के लिए धन्यवाद, हम कभी भी कलाकारों की कमी और इन कार्यों पर हमारे लिए काम करने वालों की संख्या में नहीं भागते हैं, यह सब इस सवाल पर आता है कि हम इस पर कितना पैसा खर्च करने को तैयार हैं।

मुझे नहीं पता कि आप इस विषय पर कितनी बार आते हैं, लेकिन सभी प्रकार के लोकप्रिय विज्ञान लेखों में, विशेष रूप से मशीन सीखने और तंत्रिका नेटवर्क के बारे में, यह अक्सर लिखा जाता है कि मशीन सीखना मानव प्रशिक्षण के समान है। हम बच्चे को गेंद की छवि के साथ 10 कार्ड दिखाते हैं, और 11 वीं बार वह समझेगा और कहेगा: “ओह! यह एक गेंद है! ” वास्तव में, कंप्यूटर दृष्टि और किसी भी अन्य मशीन सीखने की तकनीक भी सार में काम करती है।

मैं विपरीत परिस्थिति के बारे में बात करना चाहता हूं: प्रशिक्षण लोगों को प्रशिक्षण मशीनों के समान औपचारिक तरीके से बनाया जा सकता है। इसके लिए हमें क्या चाहिए? हमें एक प्रशिक्षण सेट की आवश्यकता है - पूर्व-चिह्नित उदाहरणों का एक सेट, जिस पर एक व्यक्ति को प्रशिक्षित किया जाएगा। हमें एक नियंत्रण सेट की आवश्यकता है, जिस पर हम जांच कर सकें कि उसने अच्छी तरह से अध्ययन किया है या नहीं। मशीन सीखने के रूप में, आपको एक परीक्षण सेट की आवश्यकता होती है, जिस पर हम समझते हैं कि हमारा कार्य आम तौर पर कैसे काम करता है। और हमें एक औपचारिक मीट्रिक की आवश्यकता है जो प्रदर्शन किए गए कार्य की गुणवत्ता को मापेगी। यह इन सिद्धांतों पर है कि हमने सबसे सरल प्रतिगमन परीक्षण के कार्यों में प्रशिक्षण का निर्माण किया है।


चित्र दिखाता है कि यह प्रशिक्षण हमारे साथ कैसा दिखता है। इसमें कई भाग होते हैं। सबसे पहले, एक सिद्धांत है, फिर अभ्यास करें, और फिर एक परीक्षा होती है, जिस पर हम जांचते हैं कि किसी व्यक्ति ने समस्या का सार समझा या नहीं समझा।



सिद्धांत से शुरू करते हैं। यह स्पष्ट है कि किसी भी कार्य के लिए जो मूल्यांकनकर्ता करता है, हमारे पास एक बड़ी, वजनदार, पूर्ण-निर्देश है जिसमें बड़ी संख्या में उदाहरण हैं, जहां सब कुछ महान विवरण में वर्णित है। लेकिन कोई इसे नहीं पढ़ता है।

इसलिए, उस सैद्धांतिक ज्ञान को वास्तव में किसी व्यक्ति के सिर में बसाने की पुष्टि करने के लिए, हम हमेशा निर्देशों का उपयोग करते हैं, लेकिन उसके बाद हम सशर्त रूप से "सैद्धांतिक परीक्षण" कहते हैं। यह एक ऐसी परीक्षा है, जिसमें हम अपने लिए महत्वपूर्ण प्रश्नों और सही उत्तरों को प्रीलोड करते हैं। सवाल सबसे बेवकूफ हो सकते हैं। मुझे लगता है कि आपके लिए ये हास्यपूर्ण उदाहरण होंगे, लेकिन उन लोगों के लिए जो अपने जीवन में पहली बार परीक्षण कार्यों का सामना कर रहे हैं, ये बिल्कुल स्पष्ट नहीं हैं। उदाहरण के लिए: "अगर मुझे कई कीड़े मिले, तो क्या मुझे कई टिकट शुरू करने की आवश्यकता है - प्रत्येक बग के लिए - या एक ढेर में सब कुछ डंप करें?" या: "क्या होगा यदि मैं एक स्क्रीनशॉट लेना चाहता हूं, लेकिन स्क्रीनशॉट मेरे लिए काम नहीं करता है?"

ये बहुत अलग, मनमाने ढंग से निम्न स्तर के प्रश्न हो सकते हैं, और यह हमारे लिए महत्वपूर्ण है कि एक व्यक्ति स्वतंत्र रूप से सिद्धांत का अध्ययन करने के स्तर पर उनके माध्यम से काम करता है। इसलिए, सैद्धांतिक परीक्षण में इस प्रकार के प्रश्न होते हैं: "मुझे कई बग मिले, क्या मुझे एक टिकट या कई चाहिए?" यदि कोई व्यक्ति गलत उत्तर चुनता है, तो एक लाल रंग गिरता है जो कहता है: "नहीं, रुको, सही उत्तर अलग है, इस पर ध्यान दो।" यहां तक ​​कि अगर किसी व्यक्ति ने निर्देशों को नहीं पढ़ा है, तो भी वह इस परीक्षा को पास नहीं कर सकता है।



अगला बिंदु अभ्यास है। यह कैसे सुनिश्चित करें कि जिन लोगों को परीक्षण के बारे में कुछ भी नहीं पता था और विशेष रूप से परीक्षक की रिक्ति का जवाब नहीं दिया, वे समझ गए कि आगे क्या किया जाना चाहिए? यहाँ हम उस बहुत प्रशिक्षण सेट पर आते हैं। मुझे लगता है कि आपको तुरंत इस तस्वीर में बड़ी संख्या में कीड़े मिलेंगे। मूल्यांकनकर्ता के लिए प्रशिक्षण कार्य कैसा दिखता है: यहां आपके सामने एक स्क्रीनशॉट है, उस पर सभी बगों को ढूंढें। यहाँ क्या गलत है? कैलकुलेटर बाहर चिपका हुआ है। और क्या? लेआउट गया।



या यहाँ एक अधिक जटिल उदाहरण है, तारांकन के साथ। मुख्य प्राप्तकर्ता का मेलबॉक्स खुला है, मैं वह हूं जिसे यह पत्र भेजा गया था। तो मैं अपने सामने ऐसी तस्वीर देखता हूं। यहाँ क्या बग है? यहां सबसे बड़ी समस्या यह है कि एक ब्लाइंड कॉपी दिखाई जाती है, और मुझे पत्र के प्राप्तकर्ता के रूप में मैं देखता हूं कि यह ब्लाइंड कॉपी में कौन था।

ऐसे दर्जनों उदाहरणों को पारित करने के बाद, यहां तक ​​कि एक व्यक्ति जो परीक्षण से बहुत दूर है, पहले से ही यह समझना शुरू कर देता है कि परीक्षण के मामलों को पारित करते समय यह क्या है और आगे उसके लिए क्या आवश्यक है। व्यावहारिक भाग उदाहरणों का एक समूह है जिसमें हम पहले से ही कीड़े जानते हैं; हम व्यक्ति को उन्हें खोजने के लिए कहते हैं और अंत में हम उसे दिखाते हैं: "देखो, बग यहां था", ताकि वह हमारे अनुमानों को हमारे सही उत्तरों के साथ सहसंबंधित करे।



और अंतिम भाग वह है जिसे हम परीक्षा कहते हैं। हमारे पास एक विशेष परीक्षण असेंबली है, जिसमें से कीड़े पहले से ही हमारे लिए ज्ञात हैं, और हम व्यक्ति को इसके माध्यम से जाने के लिए कहते हैं। यहां हम अब उसे सही और गलत उत्तर नहीं दिखाते हैं, लेकिन बस उसे देखें जो उसे मिल सकता है।

इस प्रणाली की सुंदरता और इसकी मापनीयता इस तथ्य में निहित है कि ये सभी प्रक्रियाएं एक प्रबंधक की भागीदारी के बिना, पूरी तरह से स्वायत्तता से होती हैं। हम आपके जैसे कई लोगों को चलाते हैं: हर कोई जो निर्देशों को पढ़ना चाहता है, हर कोई जो सैद्धांतिक परीक्षा लेना चाहता है, हर कोई जो अभ्यास लेना चाहता है - यह सब स्वचालित रूप से एक बटन के स्पर्श में होता है, और हमारे पास कोई चिंता नहीं है।

अंतिम भाग - परीक्षा - भी हर किसी के द्वारा उत्तीर्ण की जाती है, और फिर, अंत में, हम उन्हें ध्यान से देखना शुरू करते हैं। चूंकि यह एक परीक्षण असेंबली है और हम इसके सभी बग्स को पहले से जानते हैं, हम स्वचालित रूप से यह निर्धारित कर सकते हैं कि किसी व्यक्ति को कितने प्रतिशत कीड़े मिले। यदि यह बहुत कम है, तो हम आगे नहीं देखते हैं, हम एक स्वचालित हरा लिखते हैं: "आपके प्रयासों के लिए बहुत बहुत धन्यवाद!" - और इस व्यक्ति को लड़ाकू मिशनों तक पहुंच न दें। यदि हम देखते हैं कि लगभग सभी बग पाए गए हैं, तो उस समय एक व्यक्ति पहले से ही कनेक्ट हो रहा है जो देख रहा है कि कैसे सही तरीके से टिकट जारी किए जाते हैं, प्रक्रिया के अनुसार सब कुछ सही ढंग से किया जाता है, हमारे निर्देशों के दृष्टिकोण से।

यदि हम देखते हैं कि एक व्यक्ति ने सिद्धांत और व्यवहार दोनों में स्वतंत्र रूप से महारत हासिल की और परीक्षा अच्छी तरह से उत्तीर्ण की, तो हम ऐसे लोगों को अपनी उत्पादन प्रक्रियाओं में शामिल होने देते हैं। यह योजना इस मायने में अच्छी है कि यह इस पर निर्भर नहीं करता है कि हम कितने लोगों से गुजरते हैं। यदि हमें अधिक लोगों की आवश्यकता है, तो हम प्रवेश द्वार पर अधिक लोगों को भरते हैं और बाहर निकलने पर अधिक प्राप्त करते हैं।

यह एक शांत प्रणाली है, लेकिन, निश्चित रूप से, यह विश्वास करने के लिए भोला होगा कि उसके बाद आपके पास पहले से ही तैयार परीक्षक हो सकता है। यहां तक ​​कि जो लोग हमारे प्रशिक्षण को सफलतापूर्वक पूरा कर चुके हैं, उनके पास कई सवाल हैं जो उन्हें जल्दी से मदद करने की आवश्यकता है। और यहाँ हमारे लिए बहुत सी अप्रत्याशित समस्याओं का सामना करना पड़ रहा है।

लोग बहुत से सवाल पूछते हैं। इसके अलावा, ये सवाल इतने अजीब हो सकते हैं कि आपने अपने जीवन में कभी नहीं सोचा होगा कि इन सवालों के जवाब को निर्देशों में जोड़ा जाए, एक परीक्षण में वर्णित किया जाए या ऐसा कुछ। यदि आप इसके बारे में सोचते हैं, तो यह एक सामान्य स्थिति है। हम में से प्रत्येक, जब हम खुद को अपने से अनजान क्षेत्र में पाते हैं, तो एक विशेषज्ञ से मूर्खतापूर्ण लगने वाले प्रश्न को पूछने की संभावना नहीं है।

यहाँ स्थिति इस तथ्य से बढ़ जाती है कि हमारे पास इन लोगों में से कई सौ हैं, और यहां तक ​​कि अगर हम में से प्रत्येक एक विशिष्ट व्यक्ति से पूछते हैं, तो बेवकूफ सवाल पूछने की संभावना कम है, कुल मिलाकर यह पता चला है: हे भगवान! क्या चल रहा है? यह हमें अभिभूत करता है! ”

कभी-कभी सवाल अजीब लगते हैं। उदाहरण के लिए, एक व्यक्ति लिखता है: "मुझे समझ नहीं आ रहा है कि" पूर्ववत् में टैप करने का क्या मतलब है। वे उससे कहते हैं: “मित्र! यह "रद्द करें" बटन पर क्लिक करने के समान है। वह: “ओह! धन्यवाद! अब मुझे सब कुछ समझ में आ रहा है। ”

या कोई अन्य व्यक्ति कहता है: "सब कुछ ठीक लग रहा है, लेकिन कुछ थोड़ा टूट गया है, मुझे समझ नहीं आ रहा है कि यह एक गलती है या नहीं।" लेकिन एक मिनट के बाद वह खुद समझता है कि वह परीक्षण कार्य में कहां गया; शायद एक टूटी हुई तस्वीर बहुत सामान्य नहीं है। यहाँ वह समझ गया, और ठीक है।

या यहाँ एक दिलचस्प उदाहरण है जिसने वास्तव में हमें लंबे समय तक अनुसंधान के रसातल में डुबो दिया। एक आदमी आता है और कहता है:



हर कोई यह नहीं समझ पाता है कि क्या हो रहा है, वह कहां से आता है - हमने परीक्षण के मामलों में इतनी मेहनत की, वर्णन किए गए मामले तक - जब तक हमें यह पता नहीं चला कि उसके पास किसी तरह का विशेष ब्राउज़र एक्सटेंशन है जो रूसी से अंग्रेजी में अनुवाद करता है, और फिर अंग्रेजी से रूसी में , और अंत में हमें कुछ विधर्म मिलता है।

वास्तव में, ऐसे कई सवाल हैं, उनमें से प्रत्येक के अध्ययन में कुछ गैर-शून्य समय लगता है। और कुछ बिंदुओं पर, हमारे ग्राहक - यांडेक्स टीम सेवाएं, जिन्होंने मूल्यांकनकर्ताओं द्वारा परीक्षण का इस्तेमाल किया - अपने बालों को बाहर निकालना शुरू कर दिया और कहा: "सुनो, हम बहुत कम समय बिताएंगे अगर हम इन सभी का परीक्षण करें, इन चैट रूम में बैठने और जवाब देने से। इन अजीब सवालों के लिए। ”

इसलिए, हम दो-स्तरीय चैट सिस्टम में आए। एक सशर्त बाढ़ है, जहां हमारे मूल्यांकनकर्ता अपने क्यूरेटर के साथ संवाद करते हैं, ये "टोपी में लोग" हैं - 90% मुद्दे यहां हल किए गए हैं। और केवल सबसे महत्वपूर्ण और जटिल मुद्दों को एक समर्पित चैट में बढ़ाया जाता है जिसमें सेवा दल बैठता है। इसने सभी टीमों के जीवन को बहुत सुगम बना दिया, सभी ने शांति से आहें भरी।



ये भयावहता जो मैं बात कर रहा हूं वह इतनी भयानक नहीं है। अच्छी खबर यह है कि ये सभी प्रक्रियाएँ बहुत तेज़ी से परिवर्तित होती हैं। कोई भी पहला लॉन्च हमेशा बहुत खराब होता है। ऊपर की तस्वीर में, समान प्रतिगमन की लगातार 6 शुरुआत दिखाई देती है।

यह देखिए कि स्टाफ के सदस्यों ने सवालों के जवाब देने में कितना समय लगाया, जब पहली बार मूल्यांकनकर्ताओं को यह समझ नहीं आया कि वे किस बारे में बात कर रहे हैं और उनसे क्या चाहते हैं। उन्हें कुछ कीड़े मिले, उन्होंने कुछ भी नहीं के बारे में बहुत सारे टिकट शुरू किए। इसलिए, पहली बार हॉरर-हॉरर-हॉरर है, दूसरी बार हॉरर-हॉरर है, और तीसरी बार, सभी प्रक्रियाओं का 80 प्रतिशत अभिसरण होता है। और फिर शांत काम करने की प्रक्रिया आती है: मूल्यांकनकर्ताओं को नए कार्य के लिए उपयोग किया जाता है, और प्रत्येक लॉन्च के बाद हम प्रतिक्रिया एकत्र करते हैं, परीक्षण मामलों को पूरक करते हैं, और कुछ छांटते हैं। और यह एक अच्छा कारखाना है जो एक बटन के क्लिक पर काम करता है और इसमें पूर्णकालिक विशेषज्ञ की भागीदारी की आवश्यकता नहीं होती है।

3. गुणवत्ता नियंत्रण

एक बहुत ही महत्वपूर्ण बिंदु, जिसके बिना यह सब काम नहीं करेगा, गुणवत्ता नियंत्रण है।

हमारे मूल्यांकनकर्ता टुकड़ा मजदूरी पर काम करते हैं: उनके सभी कार्य बहुत स्पष्ट रूप से विनियमित और परिमाणित हैं, काम की प्रत्येक इकाई का अपना मानक टैरिफ है, और वे पूर्ण इकाइयों की संख्या के लिए भुगतान प्राप्त करते हैं। टॉलोका बिल्कुल उसी तरह काम करता है, और सामान्य तौर पर किसी भी भीड़ में। इस प्रणाली के कई फायदे हैं, यह बहुत लचीला है, लेकिन इसकी कमियां भी हैं। टुकड़ा-दर भुगतान के साथ एक प्रणाली में, कोई भी ठेकेदार अपने काम को अनुकूलित करने की कोशिश करेगा - समय की प्रति यूनिट बहुत अधिक पैसा पाने के लिए काम पर जितना संभव हो उतना कम समय और प्रयास खर्च करें। इसलिए, क्राउडसोर्सिंग पर निर्मित किसी भी ऐसी प्रणाली को न्यूनतम गुणवत्ता के साथ काम करने की गारंटी है जिसे आप इसे अनुमति देते हैं। यदि आपके पास गुणवत्ता पर कोई नियंत्रण नहीं है, तो यह गिर जाएगा जितना कम हो सकता है।

अच्छी खबर यह है कि आप इसे लड़ सकते हैं, इसे नियंत्रित किया जा सकता है। यदि हम काम की गुणवत्ता को निर्धारित कर सकते हैं, तो कार्य काफी सरल हो जाता है। यह सिद्धांत में है। व्यवहार में, यह बिल्कुल सरल नहीं है, विशेष रूप से परीक्षण कार्यों में। क्योंकि परीक्षण, कई अन्य बड़े कार्यों के विपरीत जो हमने मूल्यांकनकर्ताओं की मदद से हल किए, दुर्लभ घटनाओं से संबंधित हैं, और सभी प्रकार के आंकड़े वहां बहुत बुरी तरह से काम करते हैं। यह समझना बहुत मुश्किल है कि कोई व्यक्ति वास्तव में बग्स को कितनी बार पाता है, अगर सिद्धांत रूप में बहुत कम कीड़े हैं। इसलिए, हमें एक ही बार में गुणवत्ता नियंत्रण के कई तरीकों को विकृत करना और उपयोग करना होगा, जो एक साथ हमें एक निश्चित तस्वीर देंगे कि प्रदर्शन किस गुणवत्ता के साथ काम करता है।

पहले ओवरलैप में एक चेक है। "ओवरलैपिंग" का अर्थ है कि हम प्रत्येक कार्य को कई लोगों को सौंपते हैं। हम यह स्वाभाविक रूप से करते हैं, क्योंकि प्रत्येक परीक्षण मामले को कई वातावरणों में परीक्षण करने की आवश्यकता होती है। इस प्रकार, यह पता चला है कि एक ही परीक्षण मामले को ए, बी और सी के वातावरण में जांचा गया था। हमारे पास तीन लोगों के तीन परिणाम हैं - एक ही परीक्षण मामले को पारित करना। फिर हम देखते हैं कि क्या परिणाम निकले।

कभी-कभी ऐसा होता है कि एक बग एक वातावरण में पाया गया था, लेकिन दो अन्य में नहीं। शायद यह वास्तव में है, या शायद किसी की गलती है: या तो एक व्यक्ति को एक अतिरिक्त बग मिला, या उन दोनों ने धोखा दिया और कुछ नहीं मिला। किसी भी मामले में, यह एक संदिग्ध मामला है। यदि हम इसका सामना करते हैं, तो हम यह सुनिश्चित करने के लिए एक अतिरिक्त जांच करते हैं कि कौन सही था और कौन दोषी था। इस तरह की योजना हमें ऐसे लोगों को पकड़ने की अनुमति देती है, जो उदाहरण के लिए, अतिरिक्त टिकट शुरू करते हैं जहां उन्हें जरूरत नहीं थी, या जहां वे आवश्यक थे, चूक गए। उसी समय, हम देखते हैं कि टिकट को सही ढंग से कैसे खोला गया था, क्या सब कुछ प्रक्रिया के अनुसार है: स्क्रीनशॉट जोड़े गए हैं, यदि आवश्यक हो, तो एक स्पष्ट विवरण जोड़ा गया है, और इसी तरह।

इसके अलावा - और विशेष रूप से यह केवल टिकटिंग की शुद्धता की चिंता करता है - यह कुछ चीजों को स्वचालित रूप से नियंत्रित करने के लिए अच्छा और सुविधाजनक है, जो एक तरफ, trifles प्रतीत होते हैं, लेकिन, दूसरी ओर, वर्कफ़्लो को काफी दृढ़ता से प्रभावित करते हैं। इसलिए, हम स्वचालित रूप से जांच करते हैं कि टिकट के लिए कोई एप्लिकेशन है या नहीं, स्क्रीनशॉट जोड़े गए हैं या नहीं, क्या टिकट में कोई टिप्पणी है या यह केवल यह देखते हुए बंद किया गया था कि संदिग्ध मामलों की पहचान करने के लिए उस पर कितना समय खर्च किया गया था। यहां आप कई अलग-अलग उत्तराधिकारियों के साथ आ सकते हैं और उन्हें लागू कर सकते हैं। प्रक्रिया लगभग अंतहीन है।

ओवरलैप के लिए जाँच करना एक अच्छी बात है, लेकिन यह कुछ हद तक पक्षपाती मूल्यांकन देता है, क्योंकि हम केवल विवादास्पद मामलों की जाँच करते हैं। कभी-कभी आप एक ईमानदार स्पॉट चेक करना चाहते हैं। ऐसा करने के लिए, हम टेस्ट रन का उपयोग करते हैं। प्रशिक्षण चरण में, हमने विशेष रूप से परीक्षण असेंबलियों को इकट्ठा किया था जिसमें हम पहले से जानते हैं कि कीड़े कहाँ हैं और कहाँ नहीं। हम गुणवत्ता नियंत्रण के लिए समान लॉन्च का उपयोग करते हैं और यह जांचते हैं कि एक व्यक्ति ने कितने कीड़े पाए और कितने छूट गए। यह एक अच्छा तरीका है, यह दुनिया की सबसे पूरी तस्वीर देता है। लेकिन इसका उपयोग करना काफी महंगा है: जबकि हम अभी भी एक नया परीक्षण असेंबली इकट्ठा करते हैं ... हम इस दृष्टिकोण का उपयोग बहुत कम ही करते हैं, हर कुछ महीनों में।

अंतिम महत्वपूर्ण बिंदु: भले ही हम पहले से ही सब कुछ कर चुके हों, हमें निश्चित रूप से विश्लेषण करना चाहिए कि कीड़े क्यों छोड़ दिए गए थे। हम जांचते हैं कि क्या परीक्षण मामले के चरणों द्वारा इस बग को ढूंढना संभव था। यदि यह संभव था, लेकिन व्यक्ति चूक गया, तो, फिर, व्यक्ति एक मग है, और आपको उस पर कुछ प्रभाव डालने की आवश्यकता है। और अगर यह मामला नहीं था, तो आपको किसी तरह से पूरक करने की आवश्यकता है, परीक्षण के मामलों को अपडेट करें।

नतीजतन, हम सभी गुणवत्ता वाले मीट्रिक को मूल्यांकनकर्ताओं की एकल रेटिंग में कम कर देते हैं, जो हमारे सिस्टम में उनके करियर और भाग्य को प्रभावित करता है। किसी व्यक्ति की रेटिंग जितनी अधिक होगी, वह उतना ही अधिक कठिन कार्य और पुरस्कार के लिए दावे प्राप्त करेगा। मूल्यांकनकर्ता की रेटिंग जितनी कम होगी, उसे खारिज किए जाने की संभावना उतनी ही अधिक होगी। जब कोई व्यक्ति कम रेटिंग के साथ काम करता है, तो हम अंततः उसके साथ भाग लेते हैं।

4. प्रत्यायोजन

हमारी स्केलेबल पिरामिडल स्कीम के स्तंभों में से सबसे अंतिम, जिसके बारे में मैं बात करना चाहता हूं, वह है प्रतिनिधि कार्य।



मैं एक बार फिर याद दिलाऊंगा कि हमारे पिरामिड मैन्युअल परीक्षण कार्यों के लिए कैसे दिखते हैं। हमारे पास "उच्च-स्तरीय" लोग हैं - ये पूर्णकालिक परीक्षक हैं, सेवा दल के प्रतिनिधि जो सेवा के लिए प्रशिक्षण कार्यक्रमों की रचना करते हैं, जिनकी उन्हें परीक्षण करने की आवश्यकता होती है, परीक्षण करने की आवश्यकता के लिए एक रणनीति बनाते हैं, प्राथमिक परीक्षण मामलों को मुफ्त रूप में लिखते हैं।

इसके अलावा, हमारे पास सबसे प्रतिभाशाली मूल्यांकनकर्ता हैं जो औपचारिक मामलों में निशुल्क फॉर्म से परीक्षण मामलों को स्थानांतरित करते हैं, अन्य मूल्यांकनकर्ताओं की मदद करते हैं, चैट रूम में उनका समर्थन करते हैं और क्रॉस-चेकिंग और चयनात्मक गुणवत्ता नियंत्रण करते हैं।
इसके अलावा हमारे कई कलाकारों का एक बादल है जो कदम से कदम प्रतिगमन करते हैं।

आगे हमारे पास तोलोका है, जिसके बारे में हम नहीं भूले हैं।अब हम प्रयोगों के स्तर पर हैं: हम समझते हैं कि तोलोका में एक अवैयक्तिक भीड़ के परीक्षण के लिए सबसे सरल मामले दिए जा सकते हैं। यह बहुत सस्ता और तेज होगा, क्योंकि वहां और भी कलाकार हैं। लेकिन जब हम इस प्रणाली के निर्माण की प्रक्रिया में हैं। अब हम केवल बहुत सरलता देते हैं, लेकिन मुझे उम्मीद है कि कुछ महीनों में हम इस तथ्य पर पहुंचेंगे कि हम इसे और अधिक सौंपेंगे।



. - ( , ), — , . , «», , , .

- — rocket science, : , . , , . , . , - «» , , .

और मैं अक्सर इस तरह की टिप्पणी सुनता हूं: "इस बगीचे से परेशान क्यों है, यह सब कुछ स्वचालित करना और उस पर ऊर्जा खर्च करना बेहतर है।" लेकिन क्राउडसोर्सिंग ऑटोमेशन का विकल्प नहीं है, यह एक समानांतर चीज है। हम यह स्वचालन के बजाय नहीं करते हैं, बल्कि इसके अतिरिक्त करते हैं। इस तरह की प्रणाली हमें केवल उन श्रमिकों को मुक्त करने की अनुमति देती है जो एक तरफ स्वचालन में शामिल हो सकते हैं, और दूसरी तरफ, प्रक्रिया को काफी अच्छी तरह से औपचारिक रूप देते हैं, जो तब स्वचालित करना बहुत आसान हो जाएगा।


, . , - . , , . , -. - , , , . . -, : , , .

, . , - , , , - . — — - : «, , - , . , ». , , , , .

Heisenbug 2018 Piter , : 6-7 Heisenbug , , .