Bagaimana kami menguji teknologi pengenalan wajah dan apa yang terjadi

Teknologi biometrik dengan cepat memasuki kehidupan kita. Pengenalan wajah muncul di gadget. Bank di seluruh dunia menggunakan teknologi ini di ATM. Kamera CCTV yang terhubung ke sistem pengenalan wajah dirancang untuk membantu lembaga penegak hukum dalam menangkap penjahat. Dengan bantuan seseorang, Anda dapat masuk ke layanan dan mengonfirmasi pembayaran. Dan ini, seperti biasa dalam hal teknologi tinggi, tentu saja hanyalah permulaan. Seseorang menjadi kartu pass, kartu nama, dan alat pembayaran kami. Itu tidak bisa dilupakan atau hilang (kecuali dalam arti kiasan). Tetapi apakah teknologi ini terlindungi dengan baik?

Kami memutuskan untuk mengambil beberapa perangkat populer dan mencoba memintas pemeriksaan berdasarkan teknologi pengenalan wajah, dimulai dengan yang sederhana, dengan penguncian wajah (face unlock).

Catatan : Gadget penelitian disediakan oleh karyawan perusahaan. Eksperimen yang dijelaskan dalam topik ini dilakukan pada musim semi 2019, sehingga smartphone bukan model terbaru ambil bagian di dalamnya.

Pemain:

• OnePlus 5T
• Samsung Galaxy S8
• Windows Hello + Intel RealSense
• iPhone X
• Alexander Polunin , penginspirasi ideologis dan model eksperimental (melewati teknologi dari foto)
• Pavel Novikov , spesialis perangkat IoT dan model untuk model 3D
• Damir Zaynullin , peneliti dan model untuk topeng buatan sendiri
• Dan juga Anna Davydova , Natalya Frolova , Anton Karpin dan Chuck Norris

Jadi, kami memiliki empat perangkat yang kami miliki, salah satunya - Samsung Galaxy S8 - selain teknologi pengenalan wajah, teknologi pengenalan retina (Iris Scanner) juga digunakan.

Dua teknologi perangkat keras dan perangkat lunak yang digunakan dalam perangkat ini disorot. Yang pertama adalah teknologi pengenalan foto yang lama, yaitu gambar datar. Program mencoba untuk mencocokkan gambar dengan apa yang dilihat dan dilakukan kamera atau tidak memberikan akses ke informasi yang dilindungi. Memotong teknologi ini telah diuji pada smartphone OnePlus dan Samsung.

Teknologi kedua, lebih maju, menggunakan proyeksi laser dari titik-titik di permukaan, menghasilkan semacam kisi. Sebuah kamera infra merah yang terpasang di dalam alat membaca pantulan kisi-kisi ini dan, dengan durasi sinyal balik dari setiap titik, memahami kedalaman dan bentuk objek yang berdiri di depan kamera. Dengan demikian, gambar tiga dimensi diperoleh. Teknologi ini digunakan di Windows Hello dan iPhone X (serta di kamera Kinect yang populer).

Empat metode digunakan untuk mengatasi:

1. foto berwarna dicetak pada printer;
2. foto inframerah dicetak pada printer hitam putih;
3. topeng buatan sendiri;
4. Model wajah 3D yang tidak dicat, salinan kecil.

Pavel Novikov dengan salinan kecil model 3D wajahnya

Kami harus segera mengatakan bahwa kami menggunakan metode yang paling murah dan tercepat untuk memotong teknologi pengenalan. Misalnya, model 3D seukuran pelukis rumit dan mahal. Teknologi Iris Scanner Samsung memungkinkan Anda mengambil foto retina yang cukup jernih dalam inframerah. Kami tidak dapat menyiasati teknologi ini, tetapi kami menemukan artikel yang sangat menghibur dengan contoh-contoh solusi. Dilihat dari artikel ini, perlu untuk mengambil bidikan mata yang sangat berkualitas tinggi pada kamera yang bagus, mencetak gambar ini dan memberikan volume dengan menempelkan lensa kontak, atau, dalam versi lain, memberi kilau dengan lem. Tentu saja, dalam kehidupan nyata sulit membayangkan seseorang yang akan membiarkan orang asing memotret matanya sendiri dari jarak dekat. Jika Anda memotret dari jauh, Anda memerlukan lensa telefoto yang sangat kuat (dan korbannya tidak mungkin tidak bergerak).

Dengan kata lain, signifikansi praktis dari metode tersebut sangat kecil, karena memerlukan investasi material yang besar dan kombinasi dari sejumlah keadaan. Ketika memodelkan serangan, kita harus, antara lain, memahami kompleksitas implementasinya.

Untuk cara pertama, kami mencetak foto berwarna wajah pada lembar A4.



Alexander Polunin pada warna dan foto hitam putih siap untuk dikenali

Eksperimen menunjukkan bahwa metode penentuan yang pertama dan usang berhasil dan secara stabil membuat biaya dua smartphone yang kita miliki - OnePlus 5T dan Samsung S8.

Dalam pencahayaan yang baik, metode memotong menggunakan foto berwarna tidak memberikan hasil, ponsel cerdas tidak terbuka. Dalam cahaya redup, kedua ponsel "mengenali" foto. Seperti disebutkan di atas, kedua perangkat menggunakan teknologi paling sederhana - pengenalan oleh foto berwarna, di mana gambar warna datar dari apa yang dilihat kamera dibandingkan dengan apa yang telah direkam sebagai sampel.

Metode kedua tidak berhasil - foto yang diambil dalam spektrum inframerah dan dicetak pada printer; itu hitam dan putih dan sensor tidak mengambilnya, itu membutuhkan gambar foto berwarna.

Sederhananya, Anda dapat menyiasati teknologi ini dengan mengunduh foto di jejaring sosial dan membayar beberapa ratus rubel untuk mencetak foto berwarna di salon foto mana pun.

Teknologi pengenalan retina Iris Scanner telah diuji pada Samsung S8. Seperti disebutkan di atas, teknologi ini tidak bisa dibodohi oleh foto warna mata. Karena kamera dan sensor harus "melihat" ke mata pemilik, ponsel cerdas harus didekatkan; mata muncul di layar, Anda perlu melihat gambar ini, lampu inframerah menyala. Kamera depan memotret mata dan pola retina. Kami menyarankan agar foto cetak mata berkualitas tinggi harus membuka kunci perangkat. Kami memastikan bahwa kamera "mengerti" bahwa kami menunjukkan matanya, tetapi detail gambar tidak cukup untuk melatih sistem. Seperti yang kami sebutkan di atas, dari sebuah artikel oleh peneliti lain dengan sampel foto yang perlu menipu teknologi ini, menjadi jelas bahwa ada cara untuk memotong teknologi, tetapi ternyata relatif memakan waktu dan mahal.

Sedangkan untuk teknologi kedua, lebih modern yang digunakan pada Windows Hello dan iPhone X, di sini kami menemukan sejumlah nuansa menarik.

Menggunakan foto berwarna (metode 1) tidak berfungsi pada perangkat mana pun, karena foto tersebut adalah gambar datar, dan di Windows Halo, seperti pada iPhone X, model tiga dimensi digunakan; teknologi ini memungkinkan Anda untuk "melihat" objek tiga dimensi, yang terletak di depan kamera, kedalamannya.

Perlu dicatat bahwa teknologi Windows Hello memiliki kegunaan yang berbeda. Ini digunakan untuk pemindaian, untuk pemodelan virtual dalam permainan komputer: Anda menunjukkan tangannya - dia membangun kerangka virtual, dan Anda dapat menggunakan tangan virtual ini, menggunakan tangan Anda sendiri, untuk melakukan berbagai manipulasi dalam permainan. Pengakuan di Windows Hello didasarkan pada dua kriteria - dengan sidik jari dan wajah; yang terakhir memungkinkan Anda untuk masuk ke Windows hanya duduk di depan komputer. Kamera mengenali pemiliknya, bahkan di ruangan yang gelap. Itu sebabnya teknologi ini tidak membutuhkan warna dalam arti biasa. Ada dua sensor gambar dalam kamera: satu warna, dan inframerah kedua, yang membaca matriks yang diproyeksikan ke objek dan melihatnya dalam cahaya inframerah.



Gambar 3D dari kamera Intel RealSense. Demikian pula, sistem pengenalan wajah "melihat kita". Ada kacamata hitam pada pengguna. Kamera tidak menerima informasi tentang mata, tetapi informasi yang tersedia tentang wajah memungkinkan pengguna untuk masuk.

Kami mengambil foto inframerah menggunakan kamera Intel RealSense, mencetaknya pada printer hitam putih dan mencoba masuk (metode kedua). Sampai musim semi 2018, cara yang agak sederhana ini berhasil. Ternyata ada kesalahan dalam perangkat lunak perangkat: selama otorisasi, kedalaman dan volume tidak diperhitungkan. Pada April 2018, para pengembang memperbaiki kesalahan.

Topeng buatan sendiri (metode ke-3) tidak memungkinkan untuk menipu teknologi apa pun - baik yang lama, dua dimensi, maupun tiga dimensi.

Dalam hal model wajah 3D (metode ke-4), Windows Hello berperilaku tidak biasa. Ketika kami mengarahkan kamera untuk pelatihan tentang model ini, sistem melingkari wajah yang ia “lihat”. Selama pelatihan, kadang-kadang ini terjadi, kadang tidak, tetapi pada saat yang sama sistem dilatih pula.

Teknologi pada kamera Intel RealSense memungkinkan pengguna untuk melatih ulang sistem. Katakanlah jenggot Anda telah tumbuh, atau Anda menerima jari di bawah mata Anda, dan sistem tidak lagi mengenali Anda. Dalam hal ini, Anda memiliki kesempatan untuk melatihnya kembali. Ternyata, pada kenyataannya itu tidak menambahkan perubahan pada gambar yang dibuat, tidak memperbaikinya, tetapi hanya membuat gambar tambahan. Dengan cara ini, kami dapat menambahkan lima orang yang sama sekali berbeda ke sistem untuk satu akun Windows, dan kelima orang tersebut memiliki kesempatan untuk masuk menggunakan akun ini.

Dalam kasus iPhone X, foto inframerah menunjukkan kesamaan teknologi ID Wajah dengan teknologi Intel RealSense. Sistem mengakui bahwa itu adalah wajah dan membiarkan dirinya dididik. Tetapi pada saat yang sama, setelah mencetak gambar pengguna nyata, yang dimasukkan ke dalam iPhone, tidak mungkin untuk masuk: volume masih memainkan peran. Prinsipnya sederhana: apa yang diajarkan - dan karena itu disahkan. Diajarkan oleh gambar - login oleh gambar. Diajarkan di wajah - sistem tidak mengotorisasi foto.

Kami juga menemukan bahwa di iPhone, agar ID Wajah berfungsi, kamera perlu "melihat" setidaknya sepertiga wajah. (Pada prinsipnya, ini dapat dianggap sebagai tempat yang berpotensi lemah: tidak perlu mereproduksi wajah sepenuhnya untuk yang palsu.) Anda akan dikenali jika Anda mengenakan topi atau menumbuhkan janggut. Anda juga dapat masuk dengan topi dan jenggot, tetapi tidak lagi dengan topi yang diregangkan ke alis dan dengan luka syal sampai ke hidung. Sebagai percobaan, kami secara berurutan menutupi bagian-bagian wajah dengan lembaran kertas; menutupi dahi dan dagu secara terpisah dan bersama-sama, setengah dari wajah dan dahi dengan dagu. Mereka mencoba melakukan hal yang sama bukan dengan lembaran kertas, tetapi dengan topi, kacamata gelap, syal, syal. Selama percobaan, menjadi jelas bahwa untuk membuka kunci iPhone, sistem harus "melihat" hidungnya. Selama pelatihan, sistem mengingat wajah, dan kemudian, kemungkinan besar, sebuah fragmen (sekitar sepertiga) wajah sudah cukup untuknya, yang dibandingkan dengan yang diterima selama pelatihan.



Sistem mengenali pemilik jika wajah bagian bawahnya tertutup



Untuk membuka kunci sistem, hanya dibutuhkan sepertiga wajah Chuck. Yang utama hidungnya tidak tertutup



Sistem ini memungkinkan Ana untuk membuka kunci iPhone bahkan ketika ia memiliki syal dan kacamata hitam di atasnya.



Opsi dengan dahi terbuka dan syal yang menutupi bagian bawah wajah, termasuk mulut, juga memungkinkan Anda memasuki sistem



Sistem mengenali Chuck dalam topi



Tersembunyi di balik robot kardus, separuh wajah Ani juga memungkinkan Anda membuka kunci perangkat



Ponsel cerdas anton tidak mengenali pemiliknya jika dalam keadaan beku ia membungkus jilbabnya hingga ke hidung

Omong-omong, ada pendapat bahwa sistem seperti itu membiarkan anak-anak masuk ke telepon orang tua mereka. Kami mencoba metode ini dengan iPhone X, tetapi kami tidak dapat mengelabui dengan cara ini.

Dalam proses robot, kami menemukan nuansa yang agak lucu. Saat mempelajari teknologi ID Wajah, iPhone X mengharuskan Anda untuk memutar kepala Anda, konon untuk mengambil gambar 3D. Sebenarnya, memutar kepala sendiri tidak perlu. Bagaimanapun, secara perlahan dan akurat memutar kepala Anda dari sisi ke sisi dan ke atas dan ke bawah tidak perlu. Setelah perangkat menemukan wajah, Anda dapat membalikkan objek apa pun di depan kamera. Sebagai contoh, kami menggunakan lem-pensil: efeknya terlihat persis sama, dan indikator melingkar diisi secara merata, seolah-olah Anda memutar kepala Anda, memungkinkan perangkat untuk mengingat semua titik wajah. Jadi ini hanya taktik pemasaran?





Di akhir pelatihan, iPhone X memerlukan putaran kepala, tetapi kami memutar-mutar pensil biasa di depan kamera - dan pelatihan berlangsung

Kesimpulannya

Semua metode pengenalan wajah yang ada jauh dari sempurna. Sejauh ini, mereka telah pandai mengidentifikasi pemiliknya agar tidak merepotkannya, tetapi mereka tidak memberikan jaminan penuh bahwa perlindungan tidak dapat dilewati dengan metode sederhana dan murah. Sidik jari yang sama jauh lebih sulit dipalsukan: pertama-tama Anda perlu mendapatkannya (dan ini tidak mudah), kemudian buat salinannya secara fisik. Bahkan melewati kode PIN pada ponsel modern adalah tugas teknis yang agak rumit . Adapun semua teknologi pengenalan wajah, mereka kurang terlindungi dan jauh lebih mudah untuk dielakkan, meskipun ada beberapa kesulitan yang dijelaskan dalam artikel ini. Namun, penyebaran luas teknologi semacam itu dari waktu ke waktu mungkin akan berkontribusi pada peningkatan keamanan mereka, karena sensor dan algoritma akan meningkat.

Sementara itu, kami menyarankan Anda menggunakan teknologi ini dengan hati-hati, misalnya, ketika mereka bersentuhan langsung dengan uang, seperti pembayaran tanpa kontak atau ATM dengan pengenalan wajah.

Penulis : Alexander Polunin, Pavel Novikov, Natalya Frolova