Buat dataset alien Anda sendiri

Segmentasi orang yang menggunakan jaringan saraf tidak akan mengejutkan siapa pun. Ada banyak aplikasi, seperti Sticky Ai , Teleport Live , Instagram , yang memungkinkan Anda untuk melakukan tugas yang sulit pada ponsel secara real time.

Jadi, misalkan planet Bumi menghadapi peradaban luar angkasa. Dan dari alien dari sistem bintang Alpha Centauri, permintaan diterima untuk mengembangkan produk baru. Mereka sangat menyukai aplikasi Sticky Ai , yang memungkinkan Anda untuk memotong orang dan membuat stiker, sehingga mereka ingin mem-port aplikasi tersebut ke pasar intergalaksi mereka.

Sayangnya, jaringan saraf kami, yang digunakan dalam aplikasi segmentasi, hanya dilatih pada gambar ras manusia, oleh karena itu, ia bekerja dengan buruk pada alien. Ada kebutuhan mendesak untuk memperluas set data kami oleh alien.

Setelah meminta beberapa ribu gambar mereka kepada alien, kami melanjutkan ke markup.

Tantangan:
Ada gambar alien, untuk setiap gambar Anda perlu membuat topeng hitam dan putih di mana alien akan disorot dalam warna putih dan latar belakang dalam warna hitam.

Solusi:
Pertama-tama, Anda perlu membuat ToR untuk freelancer yang akan menata gambar. Karena kami membutuhkan kualitas yang sangat tinggi, kami akan menandai gambar dalam Photoshop.

Dimungkinkan untuk membuat TOR dalam bentuk dokumen PDF 10 halaman, tetapi:

1. Pekerja lepas biasanya tidak membaca TK, tetapi menelusuri.
2. Dalam dokumen tersebut, sulit untuk menjelaskan secara terperinci algoritma cara menandai dengan benar dan cepat.
3. Dibutuhkan banyak waktu untuk menyusun dokumen itu sendiri.

Karenanya, sekarang kami telah sepenuhnya meninggalkan TK dalam bentuk dokumen PDF, dan kami memberikan tugas di
jenis video pelatihan. Setelah inovasi seperti itu:

• Produktivitas freelancer meningkat dua kali lipat (karena video menunjukkan cara tercepat dan paling optimal untuk markup).
• Pertanyaan yang diajukan oleh freelancer berkurang sebanyak 3 kali (karena video menunjukkan setiap langkah).
• Ternyata mengurangi biaya markup sebanyak 2 kali (karena harga satu jam kerja tidak berubah, tetapi freelancer menandai dua kali lebih cepat).

Perhatian khusus harus diberikan pada metode markup di Photoshop. Photoshop adalah program yang sangat fleksibel di mana markup dapat dilakukan dengan berbagai cara. Oleh karena itu, disarankan untuk menentukan terlebih dahulu kualitas markup apa yang Anda butuhkan, mempelajari alat seleksi yang berbeda, membandingkannya satu sama lain dan memilih salah satu yang paling cepat memproses gambar.

Contoh:
Ada dua cara untuk menyorot:
Metode A membutuhkan 5 menit per gambar.
Metode B membutuhkan 10 menit per gambar.

Dengan metode A, freelancer menandai 12 gambar per jam, sehingga harga per gambar akan menjadi 150/12 = 12,5 rubel.
Dengan metode B, freelancer menandai 6 gambar per jam, sehingga harga per gambar akan menjadi 150/6 = 25 rubel.

Jadi, kami menemukan cara terbaik untuk menyorot dan merekam instruksi video, selanjutnya apa?

Masih mencari freelancer. Ada banyak pertukaran freelancer seperti Fl.ru , Weblancer , Freelans.ru .
Namun baru-baru ini, kami telah menggunakan layanan freelance WORK-ZILLA karena:

1. Ada tenaga kerja yang cukup murah.
2. Banyak pemain.
3. Antarmuka yang mudah digunakan untuk membuat tugas.

Untuk membuat tugas:
Kami mendaftar, mengisi saldo, klik "Kirim tugas", pilih "Desain" -> "Pemrosesan Foto".

Isi judul dan deskripsi, tentukan waktu untuk menyelesaikan tugas. Setelah memproses beberapa alien, saya perhatikan bahwa rata-rata dibutuhkan 4 menit per gambar. Yaitu 15 gambar keluar per jam, jadi kami menetapkan harga untuk satu gambar 150/15 = 10 rubel.

Segera setelah publikasi tugas, para pelaku mulai menawarkan layanan mereka.

Kami memilih yang paling indah dengan gambar profil yang dialami oleh ulasan dan menegaskan sebagai pemain, mengeluarkan gambar. Seperti yang Anda lihat, kami membutuhkan waktu kurang dari 15 menit untuk menemukan seorang freelancer.

Pagi berikutnya, pemain itu mengirim pekerjaan.

Bagaimana cara memeriksanya sekarang?

Tentu saja, Anda dapat membuka setiap gambar di Photoshop dan melihat seberapa baik semuanya disorot, tetapi bagaimana jika 20 orang bekerja untuk Anda pada saat yang sama dan semua orang mengirim 40 gambar sehari?

Otomatis! Untuk memudahkan verifikasi, saya menerapkan skrip berikut di python:

import cv2 import numpy as np import os import shutil from __future__ import print_function from tqdm import tqdm_notebook as tqdm #,       def generate_checkerboard(shape, size): res = np.ones(shape, dtype=np.float32) for i in range(0, shape[0] // size + 1): for j in range(0, shape[1] // size + 1): if (i + j) % 2 == 0: res[i * size:i * size + size, j * size:j * size + size] = 0.7 return np.stack([res] * 3, axis=2) path = '01_ ̆_13' files_im = filter(lambda x: x[-4:] == '.jpg', os.listdir(path + '/images')) files_masks = filter(lambda x: x[-4:] == '.png', os.listdir(path + '/masks')) print('- : %s' % len(files_im)) print('- : %s' % len(files_masks)) if len(files_im) != len(files_masks): print('-     ') raise Exception('bad count') #  res,      os.makedirs(path + '/res') for idd in tqdm(map(lambda x: x[:-4], files_im)): print(idd) mask = cv2.imread(path + '/masks/' + idd + ".png") / 255. im = cv2.imread(path + '/images/' + idd + ".jpg") checkerboard = generate_checkerboard(im.shape[:2], 40) * 255 cv2.imwrite(path + '/res/' + idd + ".jpg", np.concatenate([im, im * (1 - mask), im * mask + (1 - mask) * checkerboard],axis=1)) 

Script mengambil gambar asli, topeng, dan membuat kolase dari mereka, yang terdiri dari gambar asli, memotong latar belakang dan memotong alien.

Setelah meninjau gambar, kami melihat bahwa artis tidak memilih satu gambar dengan sangat baik.

Harap perbaiki gambar.

Setelah freelancer memperbaiki semua komentar kami, kami mengonfirmasi pekerjaan dan memberikan umpan balik yang berterima kepada freelancer.

Hasilnya:
Misalkan Anda membutuhkan 2.000 gambar alien untuk melatih jaringan saraf.
Kemudian, untuk mengumpulkan dataset seperti itu, Anda hanya perlu menghabiskan 2.000 x 10 = 20.000 rubel, dan jika Anda memperhitungkan bahwa rata-rata satu freelancer memproses 40 gambar sehari dan 10 orang bekerja di markup, maka membuat dataset akan membutuhkan 2000 / (10 x 40) = 5 hari.

PS
Tentu saja, kami belum menemukan alien, tidak ada tim Prisma AI yang akan melakukan segmentasi alien, tetapi dengan contoh ini saya ingin menunjukkan kepada Anda seberapa sederhana dan hemat biaya Anda dapat membuat set data Anda sendiri untuk tugas apa pun, baik itu deteksi pejalan kaki untuk kendaraan tak berawak atau penentuan hutan dalam citra satelit.