अपना स्वयं का विदेशी डेटासेट बनाएं

तंत्रिका नेटवर्क का उपयोग करने वाले लोगों का विभाजन किसी को आश्चर्यचकित नहीं करेगा। स्टिकी ऐ , टेलीपोर्ट लाइव , इंस्टाग्राम जैसे कई एप्लिकेशन हैं, जो आपको वास्तविक समय में मोबाइल फोन पर ऐसे कठिन कार्य करने की अनुमति देते हैं।

तो, मान लीजिए कि ग्रह पृथ्वी पर बाहरी सभ्यता का सामना कर रहा है। और अल्फा सेंटॉरी के स्टार सिस्टम से एलियंस से, एक नया उत्पाद विकसित करने के लिए एक अनुरोध प्राप्त होता है। वे वास्तव में स्टिकी ऐ एप्लिकेशन को पसंद करते थे, जो आपको लोगों को काटने और स्टिकर बनाने की अनुमति देता है, इसलिए वे एप्लिकेशन को अपने इंटरएक्टिक मार्केट में पोर्ट करना चाहते हैं।

दुर्भाग्य से, हमारे तंत्रिका नेटवर्क, जो विभाजन अनुप्रयोग में उपयोग किया जाता है, को केवल मानव जाति की छवियों पर प्रशिक्षित किया जाता है, इसलिए, यह एलियंस पर खराब काम करता है। एलियंस द्वारा हमारे डेटासेट का विस्तार करने की तत्काल आवश्यकता है।

अपनी कई हजार छवियों के लिए एलियंस से पूछने के बाद, हम मार्कअप के लिए आगे बढ़ते हैं।

उद्देश्य:
विदेशी छवियां हैं, प्रत्येक छवि के लिए आपको एक काले और सफेद मुखौटा बनाने की आवश्यकता होती है जिसमें विदेशी को सफेद में और काले रंग में पृष्ठभूमि पर प्रकाश डाला जाएगा।

समाधान:
सबसे पहले, आपको फ्रीलांसरों के लिए एक टीओआर बनाने की आवश्यकता है जो छवियों को बाहर करेंगे। चूंकि हमें बहुत उच्च गुणवत्ता की आवश्यकता है, हम फ़ोटोशॉप में छवियों को चिह्नित करेंगे।

10-पृष्ठ के PDF दस्तावेज़ के रूप में TOR की रचना संभव है, लेकिन:

1. फ्रीलांसर आमतौर पर टीके नहीं पढ़ते हैं, लेकिन स्क्रॉल करते हैं।
2. दस्तावेज़ में, यह वर्णन करना मुश्किल है कि एल्गोरिथ्म को सही ढंग से और जल्दी से कैसे चिह्नित किया जाए।
3. दस्तावेज़ को संकलित करने में बहुत समय लगता है।

इसलिए, अब हमने पीडीएफ दस्तावेज़ के रूप में पूरी तरह से टीके को छोड़ दिया है, और हम कार्य को प्रदान करते हैं
प्रशिक्षण वीडियो की तरह। इस तरह के एक नवाचार के बाद:

• फ्रीलांसरों की उत्पादकता दोगुनी हो गई है (क्योंकि वीडियो मार्कअप का सबसे तेज़ और सबसे इष्टतम तरीका है)।
• फ्रीलांसरों द्वारा पूछे गए प्रश्न 3 बार कम हो गए थे (क्योंकि वीडियो प्रत्येक चरण दिखाता है)।
• यह मार्कअप लागत को 2 गुना कम करने के लिए निकला (क्योंकि काम के एक घंटे की कीमत में कोई बदलाव नहीं हुआ है, लेकिन फ्रीलांसरों ने दो बार उपवास किया है)।

फ़ोटोशॉप में मार्कअप विधि पर विशेष ध्यान दिया जाना चाहिए। फोटोशॉप एक बहुत ही लचीला कार्यक्रम है जिसमें मार्कअप को विभिन्न तरीकों से किया जा सकता है। इसलिए, अग्रिम में यह निर्धारित करना उचित है कि आपको कौन से मार्कअप की गुणवत्ता की आवश्यकता है, विभिन्न चयन टूल का अध्ययन करें, उनकी एक-दूसरे से तुलना करें और वह चुनें जिसके साथ छवि प्रसंस्करण सबसे जल्दी होता है।

एक उदाहरण:
हाइलाइट करने के दो तरीके हैं:
विधि A प्रति मिनट 5 मिनट लेता है।
विधि B प्रति चित्र 10 मिनट लेता है।

विधि ए के साथ, फ्रीलांसर प्रति घंटे 12 छवियों को चिह्नित करता है, इसलिए प्रति छवि कीमत 150/12 = 12.5 रूबल होगी।
विधि बी के साथ, फ्रीलांसर प्रति घंटे 6 छवियों को चिह्नित करता है, इसलिए प्रति छवि कीमत 150/6 = 25 रूबल होगी।

तो, हमने वीडियो निर्देश को हाइलाइट करने और रिकॉर्ड करने का सबसे अच्छा तरीका पाया, आगे क्या है?

यह फ्रीलांसरों को खोजने के लिए बनी हुई है। कई फ्रीलांसर एक्सचेंज हैं जैसे कि Fl.ru , Weblancer , Freelans.ru ।
लेकिन हाल ही में, हम काम-ज़िला फ्रीलांस सेवा का उपयोग कर रहे हैं क्योंकि:

1. काफी सस्ता श्रम है।
2. बहुत सारे कलाकार।
3. कार्यों को बनाने के लिए उपयोगकर्ता के अनुकूल इंटरफेस।

कार्य बनाने के लिए:
हम पंजीकरण करते हैं, शेष राशि की भरपाई करते हैं, "कार्य सबमिट करें" पर क्लिक करें, "डिज़ाइन" -> "फोटो प्रोसेसिंग" चुनें।

शीर्षक और विवरण भरें, कार्य पूरा करने का समय निर्धारित करें। कई एलियन को संसाधित करने के बाद, मैंने देखा कि प्रति चित्र औसतन 4 मिनट लगते हैं। यानी प्रति घंटे 15 छवियां निकलती हैं, इसलिए हमने एक छवि के लिए मूल्य 150/15 = 10 रूबल निर्धारित किया है।

असाइनमेंट के प्रकाशन के तुरंत बाद, कलाकार अपनी सेवाओं की पेशकश करने लगते हैं।

हम प्रोफाइल द्वारा अनुभव की गई प्रोफ़ाइल चित्र द्वारा सबसे सुंदर एक का चयन करते हैं और एक कलाकार के रूप में पुष्टि करते हैं, चित्र जारी करते हैं। जैसा कि आप देख सकते हैं, एक फ्रीलांसर को खोजने में हमें 15 मिनट से भी कम समय लगा।

अगली सुबह, कलाकार ने एक नौकरी भेजी।

अब इसे कैसे जांचें?

बेशक, आप फ़ोटोशॉप में प्रत्येक छवि को खोल सकते हैं और देख सकते हैं कि सब कुछ कितनी अच्छी तरह से हाइलाइट किया गया है, लेकिन क्या होगा यदि एक ही समय में 20 लोग आपके लिए काम करते हैं और हर दिन 40 छवियां भेजते हैं?

स्वचालित! सत्यापन की सुविधा के लिए, मैंने अजगर पर निम्न स्क्रिप्ट लागू की:

import cv2 import numpy as np import os import shutil from __future__ import print_function from tqdm import tqdm_notebook as tqdm #,       def generate_checkerboard(shape, size): res = np.ones(shape, dtype=np.float32) for i in range(0, shape[0] // size + 1): for j in range(0, shape[1] // size + 1): if (i + j) % 2 == 0: res[i * size:i * size + size, j * size:j * size + size] = 0.7 return np.stack([res] * 3, axis=2) path = '01_ ̆_13' files_im = filter(lambda x: x[-4:] == '.jpg', os.listdir(path + '/images')) files_masks = filter(lambda x: x[-4:] == '.png', os.listdir(path + '/masks')) print('- : %s' % len(files_im)) print('- : %s' % len(files_masks)) if len(files_im) != len(files_masks): print('-     ') raise Exception('bad count') #  res,      os.makedirs(path + '/res') for idd in tqdm(map(lambda x: x[:-4], files_im)): print(idd) mask = cv2.imread(path + '/masks/' + idd + ".png") / 255. im = cv2.imread(path + '/images/' + idd + ".jpg") checkerboard = generate_checkerboard(im.shape[:2], 40) * 255 cv2.imwrite(path + '/res/' + idd + ".jpg", np.concatenate([im, im * (1 - mask), im * mask + (1 - mask) * checkerboard],axis=1)) 

स्क्रिप्ट मूल छवि, मुखौटा लेती है, और उनमें से एक कोलाज बनाती है, जिसमें मूल छवि शामिल होती है, पृष्ठभूमि को काट दिया जाता है और विदेशी को काट दिया जाता है।

छवियों की समीक्षा करने के बाद, हम देखते हैं कि कलाकार ने एक छवि का अच्छी तरह से चयन नहीं किया।

कृपया छवि सुधारें।

फ्रीलांसर ने हमारी सभी टिप्पणियों को सही करने के बाद, हम काम की पुष्टि करते हैं और फ्रीलांसर के लिए एक आभारी प्रतिक्रिया चित्रित करते हैं।

परिणाम:
मान लीजिए कि आपको एक तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए 2,000 विदेशी चित्रों की आवश्यकता है।
फिर, इस तरह के डेटासेट को इकट्ठा करने के लिए, आपको केवल 2000 x 10 = 20,000 रूबल खर्च करने की आवश्यकता होगी, और यदि आप इस बात को ध्यान में रखते हैं कि औसतन एक फ्रीलांसर एक दिन में 40 छवियां बनाता है और 10 लोग मार्कअप पर काम करते हैं, तो डेटासेट बनाने में 2000/10 x 10 लगेंगे 40) = 5 दिन।

पुनश्च
बेशक, हमने अभी तक एलियंस का सामना नहीं किया है, प्रिज्मा एआई टीम में से कोई भी एलियंस को खंड में नहीं जा रहा है, लेकिन इस उदाहरण के साथ मैं आपको यह दिखाना चाहता था कि आप किसी भी कार्य के लिए अपने खुद के डेटासेट को कितना सरल और प्रभावी बना सकते हैं, चाहे वह मानवरहित वाहन के लिए पैदल यात्री का पता लगाना हो या उपग्रह इमेजरी में वनों का निर्धारण।