Ribuan perusahaan menggunakan layanan visi mesin Rekognition Amazon untuk mencari gambar dan video cabul yang diunggah oleh pengguna
Teknologi Rekognisi kontroversial Amazon sudah digunakan untuk menghapus gambar penis dari situs web makanan. Setidaknya ini adalah salah satu contoh penggunaannya. Pada titik tertentu, layanan pengiriman makanan yang berbasis di London, Deliveroo mengalami masalah moderasi konten. Jika terjadi masalah makanan, pelanggan Deliveroo mengirim foto makan bersama dengan keluhan. Dan seringkali mereka melakukan fotobombing dengan alat kelamin mereka. Atau buat gambar makanan yang cabul. Ya benar
Dan ternyata karyawan Deliveroo tidak selalu ingin berurusan dengan konten seperti itu. Oleh karena itu, perusahaan menggunakan Rekognition untuk mengenali foto-foto cabul, dan mengaburkan atau menghapusnya sebelum seseorang melihatnya.
Masalah Deliveroo menghadirkan sisi yang agak aneh dari masalah yang semakin kompleks. Dengan satu atau lain cara, banyak perusahaan online mengandalkan konten yang dibuat pengguna. Dalam beberapa tahun terakhir, kita semakin dihadapkan pada penetrasi ke dalam sisi gelap kodrat manusia ini. Moderasi konten telah menjadi prioritas, karena situs semakin dihadapkan dengan materi yang tidak menyenangkan seperti berita palsu, kekerasan, diphfeik, intimidasi, retorika agresif dan konten beracun lainnya yang dibuat oleh pengguna. Jika Anda Facebook, maka untuk menyelesaikan masalah ini Anda dapat mengembangkan AI Anda sendiri atau menyewa pasukan moderator - atau melakukan keduanya. Namun, perusahaan yang lebih kecil dengan sedikit sumber daya seringkali tidak memiliki kemampuan ini. Di sinilah layanan moderasi konten Amazon membantu mereka.
Layanan ini adalah bagian dari paket layanan visi komputer Rekognisi yang disediakan oleh Amazon Web Services. Dia banyak
dikritik di pers karena fakta bahwa perusahaan
setuju untuk memberikan layanan
pengenalan wajah untuk layanan migrasi AS. Di situs web Rekognition, Anda dapat menemukan contoh lain menggunakan layanan untuk pelacakan - misalnya, kemampuan untuk mengenali nomor mobil yang diambil dari sudut yang berbeda pada video, atau untuk
melacak jalur seseorang menggunakan rekaman kamera.
Mungkin dalam mencari citra yang lebih positif dari layanan visi komputer, Amazon pertama kali berbicara tentang menggunakan Rekognition untuk mengawasi konten pengguna untuk menghilangkan kekerasan dan ketidaksenonohan. Layanan ini memungkinkan Anda untuk mengenali konten yang tidak aman atau tidak menyenangkan pada gambar dan video yang diunggah ke situs.
Dan bisnis ini berkembang. “Peran konten yang dibuat pengguna tumbuh eksplosif dari tahun ke tahun - hari ini kami sudah berbagi 2-3 gambar setiap hari di jejaring sosial dengan teman dan kerabat kami,” Swami Sivasubramanyan, Wakil Presiden Amazon, Amazon, memberi tahu saya. Shivasubramanyan mengatakan Amazon mulai menawarkan layanan moderasi konten dalam menanggapi permintaan pelanggan pada tahun 2017.
Perusahaan dapat membayar Rekognisi alih-alih mempekerjakan orang untuk mempelajari gambar yang dapat diunduh. Seperti layanan lain dengan AWS, ia bekerja pada model bayar per penggunaan, dan
biayanya tergantung pada jumlah gambar yang diproses oleh jaringan saraf.
Tidak mengherankan bahwa layanan kencan adalah salah satu pengguna pertama manajemen konten - mereka perlu dengan cepat memproses selfie yang diunggah ke profil pengguna. Amazon mengatakan situs kencan Coffee Meets Bagel dan Shaadi menggunakan layanan ini hanya untuk tujuan ini - seperti situs Jiwa Portugis, yang membantu orang membuat situs kencan.
AI tidak hanya mencari ketelanjangan. Jaringan saraf dilatih untuk mengenali konten yang meragukan, termasuk gambar senjata atau kekerasan, atau gambar yang umumnya tidak menyenangkan. Ini adalah menu klasifikasi dari
situs Rekognition :
Ketelanjangan Eksplisit:
- tubuh telanjang;
- penggambaran grafis tubuh laki-laki telanjang;
- gambar grafis dari tubuh wanita telanjang;
- aktivitas seksual;
- Peragaan ketelanjangan atau aktivitas seksual
- mainan untuk orang dewasa.
Konten Mencurigakan:
- Baju renang atau pakaian dalam wanita;
- celana renang pria atau pakaian dalam;
- sebagian tubuh telanjang;
- pakaian jujur.
Konten yang Menunjukkan Kekerasan:
- representasi grafis dari kekerasan atau darah;
- penganiayaan fisik;
- kekerasan senjata;
- senjata;
- menyebabkan cedera pada diri sendiri.
Konten visual yang mengganggu:
- tubuh kurus;
- mayat;
- menggantung.
Bagaimana cara kerjanya
Seperti segala sesuatu di AWS, Rekognition berjalan di cloud. Perusahaan dapat memberi tahu layanan gambar apa yang perlu ditemukan. Kemudian feed foto dan video yang diterima dari pengguna - yang dalam banyak kasus dapat disimpan di server AWS.
Jaringan saraf memproses gambar, mencari konten ini dan mencatat yang berpotensi tidak menyenangkan. Jaringan saraf menghasilkan metadata yang menggambarkan isi gambar, bersama dengan persentase kepercayaan pada label yang dikeluarkan. Itu terlihat seperti ini:
Data ini sudah diproses oleh program sisi klien, yang memutuskan, berdasarkan aturan bisnis yang diprogram, apa yang harus dilakukan dengan gambar yang diproses. Itu dapat secara otomatis menghapusnya, melewati, mengaburkan sebagian, atau mengirimkannya ke moderator untuk ditinjau.
Jaringan syaraf pemrosesan gambar dalam memiliki banyak lapisan. Masing-masing mengevaluasi data yang mewakili berbagai aspek gambar, melakukan perhitungan, dan mengirimkan hasilnya ke lapisan berikutnya. Pertama, jaringan memproses informasi tingkat rendah seperti bentuk-bentuk dasar atau keberadaan seseorang dalam suatu gambar.
"Lalu dia secara konsisten memperbaiki data semakin banyak, lapisan berikutnya menjadi lebih spesifik, dan seterusnya," Shivasubramanyan menjelaskan. Secara bertahap, lapis demi lapis, jaringan saraf menentukan konten gambar dengan kepastian yang semakin meningkat.
Wakil Presiden AWS AI Matt Wood mengatakan timnya sedang melatih model visi komputer tentang jutaan gambar pribadi dan yang dapat diakses publik dari berbagai perangkat. Dia mengatakan bahwa Amazon tidak menggunakan gambar yang diterima dari pengguna untuk tujuan ini.
Bingkai demi bingkai
Beberapa klien Rekognisi terbesar tidak menggunakan layanan ini untuk memoderasi konten yang dibuat pengguna. Amazon mengatakan perusahaan media besar dengan pustaka video digital besar ingin mengetahui konten setiap frame dari video ini. Jaringan saraf Rekognition dapat memproses setiap detik video, mendeskripsikannya menggunakan metadata, dan menandai gambar yang berpotensi berbahaya.
"Salah satu tugas yang dilakukan pembelajaran mesin dengan baik adalah masuk ke video atau gambar dan memberikan konteks tambahan," kata Wood kepada saya. “Dapat dikatakan bahwa 'dalam video ini, seorang wanita berjalan di sepanjang tepi danau dengan seekor anjing,' atau 'seorang pria berpakaian sebagian digambarkan. Dalam mode ini, katanya, jaringan saraf mampu mengenali konten berbahaya, beracun atau tidak senonoh dalam gambar dengan akurasi tinggi.
Namun area visi komputer ini belum mencapai kematangannya. Para ilmuwan masih menemukan cara-cara baru untuk mengoptimalkan algoritma jaringan saraf sehingga mereka dapat mengenali gambar lebih akurat dan lebih detail. "Kami belum mencapai tingkat penurunan laba," kata Wood.
Shivasubramanyan mengatakan kepada saya bahwa hanya bulan lalu tim yang bekerja pada penglihatan komputer mengurangi jumlah positif palsu (ketika gambar secara keliru dianggap berbahaya) sebesar 68%, dan jumlah negatif palsu sebesar 36%. "Kami memiliki peluang untuk meningkatkan akurasi API ini," katanya.
Selain keakuratan, pelanggan meminta klasifikasi gambar yang lebih rinci. Situs web AWS mengatakan bahwa layanan ini hanya menyediakan kategori utama dan satu subkategori gambar tidak aman. Karena itu, misalnya, sistem dapat memberikan bahwa gambar berisi ketelanjangan sebagai kategori utama, dan tindakan seksual sebagai subkategori. Subkategori ketiga dapat berisi klasifikasi jenis aktivitas seksual.
"Sejauh ini, mesin ini rawan terhadap fakta dan bekerja secara harfiah - ia akan memberi tahu Anda bahwa 'ini ditunjukkan di sana,'" kata
Pietro Perona , profesor komputasi dan sistem saraf dari Caltech, penasihat AWS. - Tetapi para ilmuwan ingin melampaui kerangka ini, dan melaporkan tidak hanya apa yang digambarkan di sana, tetapi juga apa yang dipikirkan orang-orang ini sedang terjadi. Akibatnya, area ini ingin berkembang ke arah ini - tidak hanya memberikan daftar apa yang ditampilkan dalam gambar.
Dan perbedaan halus seperti itu dapat menjadi penting untuk moderasi konten. Apakah gambar tersebut mengandung konten yang berpotensi menyinggung atau tidak, mungkin tergantung pada niat orang-orang yang digambarkan di sana.
Bahkan definisi sangat "tidak aman" dan "kasar" gambar cukup buram. Mereka dapat berubah dari waktu ke waktu dan tergantung pada wilayah geografis. Dan konteks adalah segalanya, Perona menjelaskan. Gambar-gambar kekerasan adalah contoh yang baik.
"Kekerasan bisa tidak dapat diterima dalam satu konteks, seperti kekerasan nyata di Suriah," kata Perona, "tetapi dapat diterima dalam konteks lain, seperti pertandingan sepak bola atau adegan dari film Tarantino."
Seperti layanan AWS lainnya, Amazon tidak hanya menjual alat moderasi konten kepada orang lain: itu adalah pelanggannya sendiri. Perusahaan mengatakan menggunakan layanan ini untuk mengurutkan konten yang dibuat pengguna menjadi gambar dan video yang dilampirkan untuk menyimpan ulasan.