हम Yandex.Tolok पर काउंटरों की मान्यता के लिए एक डेटासेट बनाते हैं

दो साल पहले, गलती से टीवी चालू करके, मैंने वेस्टी कार्यक्रम में एक दिलचस्प कहानी देखी। बताया गया कि मॉस्को डिपार्टमेंट ऑफ इंफॉर्मेशन टेक्नोलॉजी एक न्यूरल नेटवर्क बना रहा है जो तस्वीरों से पानी के मीटर की रीडिंग पढ़ेगा। कहानी में, टीवी प्रस्तोता ने शहरवासियों से परियोजना में मदद करने और अपने नेटवर्क पर एक तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए mos.ru पोर्टल पर अपने मीटर की तस्वीरें भेजने के लिए कहा।

यदि आप मास्को के एक विभाग हैं, तो संघीय चैनल पर एक वीडियो जारी करना और लोगों को मीटर की छवियां भेजने के लिए कहना बहुत बड़ी समस्या नहीं है। लेकिन क्या होगा यदि आप एक छोटे स्टार्टअप हैं और आप टीवी चैनल पर विज्ञापन नहीं दे सकते हैं? इस मामले में काउंटरों की 50,000 छवियां कैसे प्राप्त करें? Yandex.Toloka बचाव के लिए आता है!

Yandex.Toloka एक क्राउडसोर्सिंग प्लेटफ़ॉर्म है जिस पर दुनिया भर के लोग सरल कार्य करते हैं, इसके लिए धन प्राप्त करते हैं। उदाहरण के लिए, कर्मचारी छवि में पैदल चलने वालों, ट्रेन के वॉयस असिस्टेंट और बहुत कुछ पा सकते हैं । उसी समय, न केवल यैंडेक्स के कर्मचारी, बल्कि जो कोई भी इच्छा करता है, वह तोलोका पर कार्य पोस्ट कर सकता है।

समस्या का बयान

इसलिए, हम एक तंत्रिका नेटवर्क बनाना चाहते हैं, जो फोटो से काउंटरों की रीडिंग निर्धारित करेगा। कहां से शुरू करें, हमें किस डेटा की आवश्यकता है?

सहयोगियों के साथ परामर्श करने के बाद, हम निष्कर्ष निकालते हैं कि एमवीपी बनाने के लिए हमें 1000 काउंटर छवियों की आवश्यकता है। इसके अलावा, प्रत्येक काउंटर के लिए हम वर्तमान रीडिंग, साथ ही संख्याओं के साथ विंडो के निर्देशांक जानना चाहते हैं।

यदि आपने टोलाका के साथ कभी काम नहीं किया है, तो मैं आपको एक साल पहले लिखे गए लेख को पढ़ने की सलाह देता हूं। चूंकि वर्तमान लेख तकनीकी रूप से अधिक जटिल होगा, इसलिए मैं पिछले लेख में विस्तार से वर्णित कुछ बिंदुओं को छोड़ दूंगा।

धन्यवाद

पिछला लेख ODS समुदाय के लेखों की रैंकिंग में TOP-2 बन गया। टिप्पणी करने और अभियोग लगाने के लिए धन्यवाद! "

भाग 1. छवि अधिग्रहण

क्या आसान हो सकता है? बस व्यक्ति को अपने फोन पर Yandex.Tolok एप्लिकेशन को खोलने और अपने काउंटर की एक तस्वीर लेने के लिए कहने की आवश्यकता है। अगर मैं कई सालों तक तोलोका के साथ काम नहीं करता, तो मेरा निर्देश होता: "आपको अपने पानी के मीटर (गर्म या ठंडे) की तस्वीर खींचनी होगी और हमें एक छवि भेजनी होगी । "

दुर्भाग्य से, समस्या के इस तरह के एक बयान के साथ, एक अच्छा डेटासेट एकत्र नहीं किया जा सकता है। बात यह है कि लोग अलग-अलग तरीकों से इस टीके की व्याख्या कर सकते हैं, क्योंकि निर्देशों में एक सही ढंग से पूरा किए गए कार्य के लिए स्पष्ट मानदंड नहीं हैं। Tolockers भेज सकते हैं:

• धुंधली छवियां;
  
• ऐसी छवियां जो सबूत नहीं दिखाती हैं
  
• कई काउंटरों के साथ चित्र।
  

टॉलोका ब्लॉग में निर्देशों को लिखने के तरीके पर एक महान ट्यूटोरियल है । उसके बाद, मुझे यह निर्देश मिला:

इनपुट मापदंडों के रूप में, हम कार्य की आईडी पास करते हैं, और आउटपुट पर हमें img फाइल मिलती है, जिसमें काउंटर की छवि होगी।

नौकरी इंटरफ़ेस सिर्फ 2 लाइनों में लिखा गया है!

पूल बनाते समय, हम कार्य को पूरा करने का समय, विलंबित स्वीकृति और कार्य के लिए मूल्य 0.01 $ का संकेत देते हैं।

और इसलिए कि लोग कई बार कार्य पूरा नहीं करते हैं और एक ही फोटो नहीं भेजते हैं, हम गुणवत्ता नियंत्रण ब्लॉक में कार्य के बार-बार निष्पादन पर रोक लगाते हैं।

हम संकेत देते हैं कि हमें रूसी बोलने वाले उपयोगकर्ताओं की आवश्यकता है जो Yandex.Tolok मोबाइल एप्लिकेशन के माध्यम से कार्य पूरा करते हैं।

पूल में कार्य डाउनलोड करना।

हम पूल शुरू करते हैं, आनन्दित होते हैं और उपयोगकर्ता की प्रतिक्रियाओं की प्रतीक्षा करते हैं! इस तरह से हमारा कार्य टोलकर की तरफ से दिखता है:

भाग 2. कार्यों की स्वीकृति

कुछ घंटों के इंतजार के बाद, हम देखते हैं कि टोलरों ने कार्य पूरा कर लिया है। चूंकि विलंबित स्वीकृति के साथ, अवार्ड ठेकेदार को तुरंत भुगतान नहीं किया जाता है, लेकिन ग्राहक की बैलेंस शीट पर जमे हुए हैं, अब हमें भेजे गए सभी चित्रों की जांच करनी चाहिए। कार्य को स्वीकार करने के लिए बोना फाइड कलाकारों के लिए, और मानदंड के लिए अनुपयुक्त छवियां भेजने वाले कलाकारों के लिए, मना कर देना और इनकार करने का कारण लिखना।

यदि बहुत सारी छवियां नहीं हैं, तो हम स्वयं भेजे गए सभी चित्रों को देख और जांच सकते हैं। लेकिन हम हजारों और दसियों हज़ारों चित्र प्राप्त करना चाहते हैं! कार्यों की इस मात्रा की जाँच करने के लिए समय की एक महत्वपूर्ण राशि की आवश्यकता होगी। साथ ही, इस प्रक्रिया में सीधे हमारी भागीदारी की आवश्यकता है।

टोलोका फिर से बचाव में आता है! हम एक नया कार्य "काउंटर छवियों की जाँच" बना सकते हैं और अन्य tolkers को यह जवाब देने के लिए कह सकते हैं कि क्या छवि हमारे मानदंडों को फिट करती है या नहीं। एक बार प्रक्रिया स्थापित करने से, हमें पूरी तरह से स्वचालित डेटा संग्रह और सत्यापन मिल जाता है! उसी समय, डेटा संग्रह आसानी से स्केलेबल होता है, और अगर हमें कई बार डेटासेट का आकार बढ़ाने की आवश्यकता होती है, तो बस कुछ बटन पर क्लिक करें।

आश्चर्यजनक और भव्य लगता है, है ना?
फिर यह विचार को व्यवहार में लाने का समय है!

सबसे पहले, हम उन मानदंडों को परिभाषित करेंगे जिनके द्वारा हम फोटो को अच्छा मानेंगे।
एक तस्वीर अच्छी है अगर:

• फोटो में ठंडे या गर्म पानी का एक काउंटर है;
  
• काउंटर पर रीडिंग स्पष्ट रूप से दिखाई देती हैं।
  

अन्य मामलों में, फोटो को खराब माना जाता है।

हमने मानदंड छाँटे, अब हम एक निर्देश लिख रहे हैं!

इनपुट मापदंडों के रूप में हम छवि के लिंक को पास करते हैं। आउटपुट दो झंडे होंगे:

• check_count - पहले प्रश्न का उत्तर
  
• check_quality - दूसरे प्रश्न का उत्तर
  

काउंटर वैल्यू वैरिएबल को लिखा जाएगा।

इस कार्य के इंटरफ़ेस में पहले से ही 14 लाइनें हैं।

सटीकता बढ़ाने के लिए, एक छवि को 5 टॉकर्स द्वारा स्वतंत्र रूप से जांचा जाएगा, इसके लिए हम 5 का ओवरलैप डालेंगे। इसके बाद, हम देखेंगे कि कैसे 5 लोगों ने उत्तर दिया और मान लिया कि सही उत्तर वह है, जिसके लिए बहुमत ने मतदान किया। इस कार्य में अब स्वीकृति की देरी नहीं होगी।

आइए, कार्य करने वाले सर्वश्रेष्ठ कलाकारों का 50% स्वीकार करते हैं।

बिना देरी के कार्य में, सभी को भुगतान प्राप्त होता है, भले ही वे कार्य को सही ढंग से करते हों या नहीं। लेकिन हम चाहते हैं कि टोलकर्मी निर्देशों को ध्यान से पढ़ें, कोशिश करें और कार्य को सही ढंग से पूरा करें। यह कैसे प्राप्त किया जा सकता है?

टोलोक में दो मुख्य उपकरण हैं जो आपको अच्छी गुणवत्ता बनाए रखने की अनुमति देते हैं:

1. शिक्षा। मुख्य कार्य पूरा करने से पहले, हम प्रशिक्षकों को प्रशिक्षित होने के लिए कह सकते हैं। प्रशिक्षण पूल में, लोगों को ऐसे कार्य दिए जाते हैं जिनके बारे में हम पहले से ही सही उत्तर जानते हैं। यदि कोई व्यक्ति गलत तरीके से उत्तर देता है, तो उसे एक त्रुटि दिखाई जाती है और बताया जाता है कि कैसे उत्तर देना है। प्रशिक्षण पूरा करने के बाद, हम देखते हैं कि कलाकार ने कितने प्रतिशत कार्य पूरे किए हैं और हम केवल उन लोगों को अनुमति दे सकते हैं जिन्होंने कार्यों के मुख्य पूल में अच्छा किया है।
   
2. गुणवत्ता नियंत्रण ब्लॉक। ऐसी स्थिति हो सकती है जहां कलाकार का प्रशिक्षण पूल उत्कृष्ट था, हमें इसे करने की अनुमति दी गई थी, लेकिन पांच मिनट बाद उसने अपने तीन साल के भाई को कंप्यूटर पर छोड़ कर फुटबॉल खेलना छोड़ दिया। सौभाग्य से, टोलोक में कई तरीके हैं जो आपको यह ट्रैक रखने की अनुमति देते हैं कि लोग कैसे कार्यों को पूरा करते हैं।
   

प्रशिक्षण पूल के साथ, सब कुछ सरल है: बस कार्यों को जोड़ें, उन्हें Yandex.Tolki इंटरफ़ेस में चिह्नित करें और गुजरने के लिए सीमा निर्दिष्ट करें, जिससे हम लोगों को मुख्य कार्य करने की अनुमति देते हैं।

गुणवत्ता नियंत्रण इकाइयों के साथ, सब कुछ अधिक दिलचस्प है: उनमें से बहुत सारे हैं, लेकिन मैं दो सबसे महत्वपूर्ण लोगों पर ध्यान केंद्रित करूंगा।

अधिकांश की राय
हम 5 स्वतंत्र लोगों को कार्य देते हैं। और अगर चार लोग प्रश्न का उत्तर "हां" में देते हैं, और पांचवां उत्तर "नहीं" है, तो पांचवें ने शायद गलती की। इस प्रकार, हम देख सकते हैं कि व्यक्ति के उत्तर अन्य लोगों के उत्तरों के अनुरूप कैसे हैं, और उन उपयोगकर्ताओं को ब्लॉक करते हैं जो दूसरों से अलग-अलग प्रतिक्रिया करते हैं।

कार्यों को नियंत्रित करें
हम पूल में कार्यों को मिला सकते हैं, जिसके लिए हम पहले से ही सही उत्तर जानते हैं। इसी समय, गुणवत्ता नियंत्रण कार्य नियमित कार्यों के समान होते हैं। इस आधार पर कि कोई व्यक्ति नियंत्रण कार्यों का सही उत्तर देता है, हम अतिरिक्त रूप से अनुमान लगा सकते हैं, सही ढंग से या नहीं, कि वह अन्य सभी कार्यों को हल करता है जिसके लिए हमें उत्तर नहीं पता हैं। यदि कोई व्यक्ति कार्यों को नियंत्रित करने के लिए खराब प्रतिक्रिया करता है, तो हम उसे रोक सकते हैं, और यदि यह अच्छा है, तो एक बोनस दें।

हुर्रे, कार्य बनाया! यह वही है जो इंटरफ़ेस निष्पादक से दिखता है:

भाग 3. जॉइनिंग जॉब्स

महान, कार्य तैयार हैं! लेकिन सवाल यह उठता है कि कार्यों को एक-दूसरे से कैसे जोड़ा जाए? पहले कार्य के बाद दूसरा रन कैसे बनाएं?

बेशक, आप एक टैम्बोरिन के साथ खेल सकते हैं और इसे टोलोका इंटरफ़ेस के माध्यम से मैन्युअल रूप से कर सकते हैं, लेकिन एक सरल और तेज़ तरीका है! Yandex.Tolok के पास एक एपीआई है , इसका उपयोग करें और एक अजगर स्क्रिप्ट लिखें!

import pandas as pd import numpy as np import requests import boto3 #       ,  #  Yandex Object Storage      def load_image_on_yandex_storage(img_id): session = boto3.session.Session( region_name="us-east-1", aws_secret_access_key="", aws_access_key_id="" ) s3 = session.client( service_name="s3", endpoint_url="https://storage.yandexcloud.net" ) file = requests.get( url=URL_API + "attachments/%s/download" % img_id, headers=HEADERS ) s3.put_object(Bucket="schetchiki", Key=img_id, Body=file.content) return "https://storage.yandexcloud.net/schetchiki/%s" % img_id #    API,   ID      TOLOKA_OAUTH_TOKEN = "" POOL_ID_FIRST = 7156932 POOL_ID_SECOND = 7006945 URL_API = "https://toloka.yandex.ru/api/v1/" HEADERS = { "Authorization": "OAuth %s" % TOLOKA_OAUTH_TOKEN, "Content-Type": "application/JSON", } #       ,    url_assignments = ( URL_API + "assignments/?status=SUBMITTED&limit=10000&pool_id=%s" % POOL_ID_FIRST ) submitted_tasks = requests.get(url_assignments, headers=HEADERS).json()["items"] #  ,  ,   id     #  id     url_to_first_id_map = {} first_id_to_second_id_map = {} json_second_task = [] #      : # *   id # *    Yandex Object Storage # *    json    for task in submitted_tasks: first_task_id = task["id"] img_id = task["solutions"][0]["output_values"]["img"] url_img = load_image_on_yandex_storage(img_id) url_to_first_id_map[url_img] = first_task_id json_second_task.append( {"input_values": {"image": url_img}, "pool_id": POOL_ID_SECOND, "overlap": 5} ) #      # " ,  ":   API      , #      API second_tasks_request = requests.post( url=URL_API + "tasks?open_pool=true", headers=HEADERS, json=json_second_task ).json() #     id  . #         ,    for second_task in second_tasks_request["items"].values(): second_task_id = second_task["id"] img_url = second_task["input_values"]["image"] first_task_id = url_to_first_id_map[img_url] first_id_to_second_id_map[first_task_id] = second_task_id #     ,      ,    #        def unknown_fun(k): return list(map(lambda t: t['solutions'][np.where(np.array(list(map(lambda x: x['id'], t['tasks']))) == second_task_id)[0][0]]['output_values'][k], second_task)) #  keys  values  first_id_to_url_map = dict((v, k) for k, v in url_to_first_id_map.items()) db = [] #      ,   2   for first_task_id in first_id_to_second_id_map: #     1 second_task_id = first_id_to_second_id_map[first_task_id] #    2 url_assignments = ( URL_API + "assignments/?status=ACCEPTED&task_id=%s" % second_task_id ) second_task = requests.get(url_assignments, headers=HEADERS).json()["items"] #     value_list = unknown_fun("value") check_count_list = unknown_fun("check_count") check_quality_list = unknown_fun("check_quality") #         «», #      , #     .   if np.sum(check_count_list) < 3: json_check = { "status": "REJECTED", "public_comment": "          ", } #     ,    ,   elif np.sum(check_quality_list) < 3: json_check = { "status": "REJECTED", "public_comment": "     ", } #      else: json_check = { "status": "ACCEPTED", "public_comment": "  ", } url = URL_API + "assignments/%s" % first_task_id result_patch_request = requests.patch(url, headers=HEADERS, json=json_check) #        (values, counts) = np.unique(value_list, return_counts=True) ind = np.argmax(counts) if counts[ind] > 3 and json_check["status"] == "ACCEPTED": print( " : %s.   %d  5 " % (values[ind], counts[ind]) ) #       ,    db.append( { "first_task_id": first_task_id, "second_task_id": second_task_id, "url_img": first_id_to_url_map[first_task_id], "check_count_list": check_count_list, "check_quality_list": check_quality_list, "value_list": value_list, } ) #    pd.DataFrame(db).to_csv("result.csv") 

हम कोड चलाते हैं और यहां लंबे समय से प्रतीक्षित परिणाम है: 871 काउंटर छवियों का डेटासेट तैयार है।

कीमत

आइए परियोजना के आर्थिक घटक का मूल्यांकन करें।
पहले कार्य में भेजी गई छवि के लिए, हम $ 0.01 प्रदान करते हैं।
दुर्भाग्य से, अगर हम कलाकार को $ 0.01 का भुगतान करते हैं, तो हमें $ 0.018 का भुगतान करना होगा।
यह कैसे किया जाता है?

• यैंडेक्स कमीशन न्यूनतम (0.005.20%) है। 0.01 डॉलर की कीमत के साथ एक कार्य के लिए, आयोग 50% होगा;
  
• वैट 20% है।
  

काउंटरों की 10 छवियों की जाँच के लिए, हम $ 0.01 का भुगतान करते हैं। इस मामले में, स्वतंत्र लोगों द्वारा 5 बार एक छवि की जाँच की जाती है। कुल में, हम एक छवि की जाँच के लिए देते हैं: (0.01 x 5/10) x 1.2 x 1.5 = $ 0.009।

भेजे गए 1000 सबमिशन में से 871 इमेज प्राप्त हुईं और 129 रिजेक्ट हो गए। इसलिए, 871 छवियों का डेटासेट प्राप्त करने के लिए, हमने भुगतान किया:
0.018 $ x 871 + 0.009 $ x 1000 = $ 25 और आपको 50,000 छवियों का डेटासेट प्राप्त करने के लिए 92,000 रूबल की आवश्यकता है। यह निश्चित रूप से संघीय चैनल पर विज्ञापन देने की तुलना में सस्ता है!

लेकिन यह आंकड़ा वास्तव में कई बार कम हो सकता है। आप कर सकते हैं:

• पहले कार्य में सुझाव एक तस्वीर लेने के लिए, लेकिन कई नहीं। उसी समय कीमत बढ़ाएं, फिर यैंडेक्स कमीशन 50% नहीं, बल्कि 20% होगा;
  
• दूसरे कार्य में गतिशील ओवरलैप का उपयोग करें। यदि 5 में से 4 लोगों ने एक ही उत्तर दिया, तो पांचवें व्यक्ति को कार्य देने का कोई मतलब नहीं है;
  
• टॉलोका के साथ एक विदेशी कानूनी इकाई के रूप में काम करें। इस स्थिति में, आप वैट का भुगतान नहीं करते हैं।
  

चूंकि इतनी सामग्री थी, इसलिए मैंने लेख को दो भागों में विभाजित करने का निर्णय लिया। अगली बार हम आपके साथ टोलोका का उपयोग करके छवियों पर ऑब्जेक्ट का चयन करने और कंप्यूटर विज़न में कार्यों के लिए डेटासेट बनाने के बारे में बात करेंगे। और याद नहीं है, सदस्यता और पसंद करने के लिए!

पुनश्च
लेख पढ़ने के बाद, यह आपको लग सकता है कि यह Yandex.Tolki का एक छिपा हुआ विज्ञापन है, लेकिन नहीं, यह नहीं है। यांडेक्स ने मुझे कुछ भी भुगतान नहीं किया, और सबसे अधिक संभावना है कि वह भुगतान नहीं करेगा। मैं सिर्फ एक काल्पनिक, लेकिन प्रासंगिक और दिलचस्प उदाहरण दिखाना चाहता था, इस सेवा का उपयोग करके आप किसी भी कार्य के लिए जल्दी और सस्ते में डेटासेट इकट्ठा कर सकते हैं, चाहे वह बिल्लियों को पहचानने या मानव रहित वाहनों को प्रशिक्षित करने का कार्य हो।