Satu set gambar eksperimental dengan stiker seni pada jarak yang berbeda dan pada sudut yang berbeda: (a) 5 kaki, 0 derajat; (B) 5 '15 °; (c) 10 ° 0 °; (d) 10-30 °; (e) 40 ° 0 °. Cara curang bekerja pada jarak berapa pun dan di sudut mana pun: alih-alih tanda Berhenti, sistem pembelajaran mesin melihat tanda “Batas kecepatan 45 mil”Sementara beberapa ilmuwan meningkatkan sistem pembelajaran mesin, ilmuwan lain meningkatkan metode menipu sistem ini.
Seperti yang Anda ketahui, perubahan kecil yang ditargetkan dalam gambar dapat “menghancurkan” sistem pembelajaran mesin, sehingga ia mengenali gambar yang sama sekali berbeda. Gambar-gambar "Trojan" seperti itu disebut "contoh-contoh permusuhan" dan mewakili salah satu dari
keterbatasan pembelajaran yang mendalam .
Untuk membuat contoh kompetitif, Anda perlu memaksimalkan aktivasi, misalnya, dari filter jaringan saraf convolutional tertentu. Ivan Yevtimov dari Universitas Washington, bersama dengan rekan-rekannya dari Universitas California di Berkeley, Universitas Michigan dan Universitas New York di Stony Brook mengembangkan algoritma serangan baru -
gangguan fisik yang kuat (Robust Physical Perturbations atau RP
2 ). Ini sangat efektif menangkap visi kendaraan tak berawak, robot, quadcopters dan sistem robot lainnya yang mencoba menavigasi di ruang sekitarnya.
Tidak seperti penelitian sebelumnya, di sini penulis fokus pada mengubah objek secara langsung, bukan latar belakang. Tugas para peneliti adalah untuk menemukan delta sekecil mungkin yang akan merobohkan pengklasifikasi sistem pembelajaran mesin, yang dilatih pada
kumpulan data dengan gambar tanda-tanda jalan LISA . Para penulis secara mandiri mengambil sejumlah foto rambu-rambu jalan di jalan dalam kondisi yang berbeda (jarak, sudut, pencahayaan) dan melengkapi dataset LISA untuk pelatihan.
Setelah menghitung delta seperti itu, topeng terungkap - tempat (atau beberapa tempat) pada gambar yang paling dapat dipercaya menyebabkan gangguan dalam sistem pembelajaran mesin (visi mesin). Serangkaian percobaan dilakukan untuk memverifikasi hasil. Eksperimen terutama dilakukan pada sinyal berhenti (tanda "STOP"), yang diubah oleh para peneliti dengan beberapa manipulasi berbahaya untuk penglihatan mesin menjadi tanda "SPEED LIMIT 45". Teknik yang dikembangkan dapat digunakan pada tanda-tanda lain. Penulis kemudian mengujinya pada tanda belokan.
Tim peneliti telah mengembangkan dua jenis serangan pada sistem visi alat berat yang mengenali rambu-rambu lalu lintas. Serangan pertama adalah perubahan kecil yang tak terlihat di seluruh area tanda. Dengan menggunakan pengoptimal Adam, mereka dapat meminimalkan topeng untuk membuat contoh yang terpisah, bertarget, dan kompetitif yang menargetkan rambu-rambu jalan tertentu. Dalam hal ini, sistem pembelajaran mesin dapat diakali dengan perubahan gambar minimal, dan orang-orang tidak akan melihat apa-apa sama sekali. Efektivitas jenis serangan ini diuji pada poster cetak dengan sedikit perubahan (pada awalnya, para peneliti yakin bahwa sistem visi mesin berhasil mengenali poster tanpa perubahan).
Jenis serangan kedua adalah kamuflase. Di sini, sistem meniru baik tindakan vandalisme atau grafiti artistik sehingga sistem tidak mengganggu kehidupan orang-orang di sekitarnya. Dengan demikian, pengemudi akan segera melihat sinyal belok kiri atau lampu rem, dan robot akan melihat tanda yang sama sekali berbeda. Efektivitas serangan jenis ini diuji pada rambu-rambu jalan nyata, yang disegel dengan stiker. Kamuflase grafiti terdiri dari stiker dalam bentuk kata-kata CINTA dan BENCI, dan kamuflase seperti seni abstrak - dari empat stiker berbentuk persegi panjang berwarna hitam dan putih.
Hasil percobaan ditunjukkan dalam tabel. Dalam semua kasus, efektivitas menipu classifier pembelajaran mesin ditampilkan, yang mengakui tanda "STOP" yang dimodifikasi sebagai tanda "SPEED LIMIT 45". Jaraknya dalam kaki, dan sudut rotasi dalam derajat. Kolom kedua menunjukkan kelas kedua, yang terlihat dalam sistem pembelajaran mesin dalam tanda yang dimodifikasi. Misalnya, dari jarak 5 kaki (152,4 cm), kamuflase seperti seni abstrak pada sudut 0 ° menghasilkan hasil berikut untuk mengenali tanda "STOP": dengan kepercayaan 64%, itu diakui sebagai tanda "KECEPATAN BATAS 45", dan dengan kepercayaan 11% - seperti Lane Berakhir.
Legenda: SL45 = Batas Kecepatan 45, STP = Berhenti, YLD = Hasil, ADL = Jalur Tambah, SA = Sinyal Di Depan, LE = Jalur BerakhirMungkin sistem seperti itu (dengan perubahan yang sesuai) akan dibutuhkan oleh umat manusia di masa depan, dan sekarang dapat digunakan untuk menguji sistem pembelajaran mesin dan visi komputer yang tidak sempurna.
Karya ilmiah
diterbitkan pada 27 Juli 2017 di situs pracetak arXiv.org (arXiv: 1707.08945).