Dalam beberapa tahun terakhir, minat dalam model pembelajaran mesin telah meningkat, termasuk untuk pengenalan gambar visual dan wajah. Meskipun teknologinya jauh dari sempurna, itu sudah memungkinkan Anda untuk menghitung penjahat, menemukan profil di jejaring sosial, melacak perubahan, dan banyak lagi. Simen Thys dan Wiebe Van Ranst membuktikan bahwa dengan hanya membuat sedikit perubahan pada informasi input dari jaringan saraf convolutional, hasil akhir dapat diganti. Pada artikel ini, kita akan melihat tambalan visual untuk melakukan serangan pengenalan.
Serangan pertama pada sistem pengenalan adalah perubahan kecil dalam piksel dari gambar input untuk menipu classifier dan menurunkan kelas yang salah.
Tujuannya adalah membuat tambalan yang berhasil menyembunyikan seseorang dari detektor. Hasilnya adalah skema serangan yang dapat digunakan, misalnya, untuk memotong sistem pengawasan. Penyerang dapat menyelinap tanpa terlihat, memegang di depan mereka sendiri sebuah tablet kardus kecil dengan "tambalan", yang diarahkan ke kamera pengintai.
Perkembangan
jaringan saraf convolutional (SNA) telah menyebabkan kesuksesan luar biasa di bidang visi komputer. Sebuah pipa end-to-end yang digerakkan oleh data di mana SNA dilatih tentang gambar telah menunjukkan hasil terbaik dalam berbagai tugas penglihatan komputer. Karena kedalaman arsitektur ini, jaringan saraf dapat mempelajari filter paling dasar di bagian bawah jaringan (tempat data masuk) untuk mencapai fungsi abstrak tingkat tinggi di atas. Untuk ini, SNA tipikal berisi jutaan parameter yang dipelajari. Meskipun pendekatan ini mengarah pada model yang sangat akurat, interpretabilitas berkurang secara drastis.
Dalam penelitian, berbagai gambar digunakan untuk mengelabui sistem pengawasan, termasuk abstrak "noise" dan blur.
Untuk membuat tambalan, gambar asli digunakan, yang mengalami transformasi berikut:
- rotasi 20 derajat;
- lapisan kebisingan;
- kabur
- modifikasi kecerahan;
- modifikasi kontras.
Para peneliti telah melakukan banyak
tes Inria untuk menentukan "penyembunyian" terbaik seseorang.
Untuk mencapai efek yang diinginkan, gambar 40x40 sentimeter (yang ditunjukkan oleh kata tambalan dalam laporan ahli) harus ditempatkan di tengah kotak deteksi kamera dan secara konstan di bidang pandangnya. Tentu saja, metode ini tidak akan membantu seseorang menyembunyikan wajahnya, namun, algoritma untuk mendeteksi orang pada prinsipnya tidak akan dapat mendeteksi seseorang dalam bingkai, yang berarti bahwa pengenalan fitur wajah selanjutnya juga tidak akan diluncurkan.
Sebagai demonstrasi, para peneliti menerbitkan demonstrasi video dari kemampuan tambalan visual:
Kode proyek
GitHub .
Penelitian