Cómo probamos la tecnología de reconocimiento facial y qué resultó de ella

La tecnología biométrica está entrando rápidamente en nuestras vidas. El reconocimiento facial aparece en los gadgets. Los bancos de todo el mundo están utilizando esta tecnología en cajeros automáticos. Las cámaras de CCTV conectadas al sistema de reconocimiento facial están diseñadas para ayudar a las agencias de aplicación de la ley en la captura de delincuentes. Con la ayuda de una persona, puede iniciar sesión en los servicios y confirmar los pagos. Y esto, como siempre en el caso de la alta tecnología, es, por supuesto, solo el comienzo. Una persona se convierte en nuestro pase, tarjeta de presentación, instrumento de pago. No puede ser olvidado o perdido (excepto en el sentido figurado). ¿Pero esta tecnología está bien protegida?

Decidimos tomar algunos dispositivos populares e intentar eludir los controles basados ​​en la tecnología de reconocimiento facial, comenzando con uno simple, con desbloqueo facial (desbloqueo facial).

Nota : Los dispositivos de investigación fueron proporcionados por empleados de la empresa. El experimento descrito en el tema se realizó en la primavera de 2019, por lo que participaron teléfonos inteligentes de los últimos modelos.

Elenco:

• OnePlus 5T
• Samsung Galaxy S8
• Windows Hello + Intel RealSense
• iPhone X
• Alexander Polunin , inspirador ideológico y modelo experimental (evitando la tecnología de la foto)
• Pavel Novikov , especialista en dispositivos IoT y modelo para un modelo 3D
• Damir Zaynullin , investigador y modelo de una máscara casera.
• Y también Anna Davydova , Natalya Frolova , Anton Karpin y Chuck Norris

Entonces, teníamos cuatro dispositivos a nuestra disposición, en uno de ellos, Samsung Galaxy S8, además de la tecnología de reconocimiento facial, también se utilizó la tecnología de reconocimiento de retina (Iris Scanner).

Se destacaron dos tecnologías de hardware y software que se utilizan en estos dispositivos. La primera es la vieja tecnología de reconocimiento de fotos, es decir, una imagen plana. El programa intenta hacer coincidir la imagen con lo que ve la cámara y proporciona o no acceso a la información protegida. Eludir esta tecnología se probó en los teléfonos inteligentes OnePlus y Samsung.

La segunda tecnología, más avanzada, utiliza la proyección láser de puntos en la superficie, dando como resultado una especie de cuadrícula. Una cámara infrarroja integrada en el dispositivo lee el reflejo de esta cuadrícula y, según la duración de la señal de retorno de cada punto, comprende la profundidad y la forma del objeto que se encuentra frente a la cámara. Por lo tanto, se obtiene una imagen tridimensional. Esta tecnología se usa en Windows Hello y iPhone X (así como en la popular cámara Kinect).

Se utilizaron cuatro métodos para evitar:

1. fotografía en color impresa en una impresora;
2. fotografía infrarroja impresa en una impresora en blanco y negro;
3. mascarilla casera;
4. Modelo de cara 3D sin pintar, copia pequeña.

Pavel Novikov con una pequeña copia del modelo 3D de su rostro.

Debemos decir de inmediato que utilizamos los métodos menos costosos y más rápidos para evitar la tecnología de reconocimiento. Por ejemplo, un modelo 3D pintado de tamaño natural es complicado y costoso. La tecnología Iris Scanner de Samsung le permite tomar fotos de retina bastante claras en el infrarrojo. No pudimos evitar esta tecnología, pero encontramos un artículo muy entretenido con ejemplos de soluciones alternativas. A juzgar por este artículo, es necesario tomar una foto del ojo de muy alta calidad en una buena cámara, imprimir esta imagen y darle volumen pegando lentes de contacto o, en otra versión, dar brillo con pegamento. Por supuesto, en la vida real es difícil imaginar a una persona que permita que un extraño tome una foto de sus propios ojos a corta distancia. Si disparas desde lejos, necesitas un teleobjetivo muy potente (y es poco probable que la víctima esté completamente inmóvil).

En otras palabras, la importancia práctica de tal método es, en cualquier caso, extremadamente pequeña, ya que requiere importantes inversiones materiales y una combinación de una serie de circunstancias. Al modelar un ataque, debemos, entre otras cosas, comprender la complejidad de su implementación.

Para la primera forma, imprimimos una foto en color de la cara en una hoja A4.



Alexander Polunin en una foto en color y en blanco y negro está listo para el reconocimiento

Los experimentos mostraron que el primer método anticuado de determinación costó exitosamente y de manera estable dos teléfonos inteligentes que estaban a nuestra disposición: OnePlus 5T y Samsung S8.

Con buena iluminación, el método de derivación usando una foto en color no dio resultado, los teléfonos inteligentes no se desbloquearon. Con poca luz, ambos teléfonos "reconocieron" la foto. Como se mencionó anteriormente, ambos dispositivos utilizan la tecnología más simple: el reconocimiento por fotografía en color, en el que una imagen en color plano de lo que ve la cámara se compara con lo que ha grabado como muestra.

El segundo método no funcionó: una foto tomada en el espectro infrarrojo e impresa en una impresora; es blanco y negro y el sensor no lo capta, necesita una imagen fotográfica en color.

En pocas palabras, puede sortear esta tecnología descargando una foto en las redes sociales y pagando unos cientos de rublos por imprimir una foto en color en cualquier salón de fotografía.

La tecnología de reconocimiento de retina Iris Scanner se probó en Samsung S8. Como se mencionó anteriormente, esta tecnología no puede ser engañada por una foto en color de los ojos. Dado que la cámara y el sensor deben "mirar" a los ojos del propietario, el teléfono inteligente debe acercarse; los ojos aparecen en la pantalla, necesita mirar esta imagen, la luz infrarroja se enciende. La cámara frontal fotografía los ojos y el patrón de la retina. Sugerimos que una foto impresa de alta calidad de los ojos debería desbloquear el dispositivo. Nos aseguramos de que la cámara "entendiera" que le estábamos mostrando los ojos, pero el detalle de la imagen no era suficiente para entrenar el sistema. Como mencionamos anteriormente, a partir de un artículo de otros investigadores con muestras de fotos que necesitan engañar a esta tecnología, quedó claro que hay una manera de evitar la tecnología, pero resultó ser relativamente lenta y costosa.

En cuanto a la segunda tecnología más moderna utilizada en Windows Hello y iPhone X, aquí encontramos una serie de matices interesantes.

El uso de una foto en color (primer método) no funcionó en ninguno de los dispositivos, porque la foto es una imagen plana, y en Windows Hello, como en el iPhone X, se usa un modelo tridimensional; La tecnología le permite "ver" un objeto tridimensional, que se encuentra frente a la cámara, su profundidad.

Cabe señalar que la tecnología Windows Hello tiene diferentes usos. Se usa para escanear, para modelar virtual en juegos de computadora: le muestras una mano, ella construye un esqueleto virtual, y puedes usar esta mano virtual, usando la tuya, para realizar varias manipulaciones en el juego. El reconocimiento en Windows Hello se basa en dos criterios: por huella digital y cara; este último le permite iniciar sesión en Windows simplemente sentado en la computadora. La cámara reconoce al propietario, incluso en una habitación oscura. Es por eso que esta tecnología no necesita color en su sentido habitual. Hay dos sensores de imagen en la cámara: un color y el segundo infrarrojo, que lee la matriz proyectada sobre el objeto y la ve con luz infrarroja.



Imagen en 3D de la cámara Intel RealSense. Del mismo modo, el sistema de reconocimiento facial "nos ve". Hay gafas de sol en el usuario. La cámara no recibe información sobre los ojos, pero la información disponible sobre la cara permite al usuario iniciar sesión.

Tomamos una foto infrarroja con la cámara Intel RealSense, la imprimimos en una impresora en blanco y negro e intentamos iniciar sesión (segundo método). Hasta la primavera de 2018, esta forma bastante simple funcionó. Resultó que hubo un error en el software del dispositivo: durante la autorización, la profundidad y el volumen no se tuvieron en cuenta. En abril de 2018, los desarrolladores corrigieron el error.

La máscara casera (tercer método) no permitía engañar a ninguna tecnología, ni antigua, bidimensional ni tridimensional.

En el caso del modelo 3D de la cara (4to método), Windows Hello se comportó de manera inusual. Cuando dirigimos la cámara para entrenar en este modelo, el sistema rodeó la cara que "vio". Durante el entrenamiento, a veces esto sucedió, a veces no, pero al mismo tiempo el sistema fue entrenado de todos modos.

La tecnología en la cámara Intel RealSense permite al usuario volver a entrenar el sistema. Digamos que su barba ha crecido, o recibió un dedo debajo de su ojo, y el sistema ha dejado de reconocerlo. En este caso, tienes la oportunidad de volver a entrenarla. Resultó que, en realidad, no agrega ningún cambio a la imagen creada, no la mejora, sino que simplemente crea una imagen adicional. De esta manera, pudimos agregar cinco personas completamente diferentes al sistema para una cuenta de Windows, y las cinco personas tuvieron la oportunidad de iniciar sesión con esta cuenta.

En el caso del iPhone X, la foto infrarroja mostró la similitud de la tecnología Face ID con la tecnología Intel RealSense. El sistema reconoció que era una cara y se dejó educar. Pero al mismo tiempo, después de imprimir la imagen del usuario real, que se ingresa en el iPhone, no fue posible iniciar sesión: el volumen todavía juega un papel importante. El principio es simple: lo que se enseñó y, por lo tanto, se autorizó. Impartido por imagen: conectado por imagen. Enseñado en la cara: el sistema no autorizó la foto.

También descubrimos que en iPhone, para que Face ID funcione, la cámara necesita "ver" al menos un tercio de la cara. (En principio, esto puede considerarse un punto potencialmente débil: no hay necesidad de reproducir la cara por completo para una falsificación). Se le reconocerá si se pone un sombrero o se deja crecer la barba. También será posible iniciar sesión con un sombrero y una barba, pero ya no con un sombrero estirado hasta las cejas y con un pañuelo enrollado hasta la nariz. Como experimento, cubrimos secuencialmente partes de la cara con hojas de papel; Cubrió la frente y el mentón por separado y juntos, la mitad de la cara y la frente con el mentón. Intentaron hacer lo mismo no con hojas de papel, sino con un sombrero, anteojos oscuros, una bufanda, una bufanda. Durante el experimento, quedó claro que para desbloquear el iPhone, el sistema debe "ver" la nariz. Durante el entrenamiento, el sistema recuerda la cara, y luego, lo más probable, un fragmento (aproximadamente un tercio) de la cara es suficiente para ello, que se compara con el recibido durante el entrenamiento.



El sistema reconoce al propietario si su cara inferior está cerrada



Para desbloquear el sistema, solo se requiere un tercio de la cara de Chuck. Lo principal es que la nariz no está cerrada



El sistema le permite a Ana desbloquear el iPhone incluso cuando tiene una bufanda y lentes oscuros.



La opción con una frente abierta y una bufanda que cubre la parte inferior de la cara, incluida la boca, también le permitirá ingresar al sistema.



El sistema reconoce a Chuck con sombrero



Escondido detrás de un robot de cartón, la mitad de la cara de Ani también te permite desbloquear el dispositivo.



El teléfono inteligente de Anton no reconoce a su propietario si, en heladas severas, se envuelve la bufanda hasta la nariz

Por cierto, existe la opinión de que tales sistemas permiten que los niños entren en los teléfonos de sus padres. Probamos este método con el iPhone X, pero no pudimos engañarlo de esta manera.

En el proceso de los robots, nos encontramos con un matiz bastante divertido. Al aprender la tecnología Face ID, el iPhone X requiere que gires la cabeza, supuestamente para capturar una imagen en 3D. De hecho, no es necesario girar la cabeza. En cualquier caso, no es necesario girar lenta y exactamente la cabeza de lado a lado y de arriba a abajo. Una vez que el dispositivo ha encontrado una cara, puede girar cualquier objeto frente a la cámara. Por ejemplo, utilizamos lápiz de pegamento: el efecto se veía exactamente igual y el indicador circular se llenaba de manera uniforme, como si girara la cabeza, lo que permite que el dispositivo recuerde todos los puntos de la cara. Entonces, ¿esto es solo una estratagema de marketing?





Al final del entrenamiento, el iPhone X requiere un giro de cabeza, pero giramos el lápiz adhesivo habitual frente a la cámara, y el entrenamiento tuvo lugar

En conclusión

Todos los métodos existentes de reconocimiento facial están lejos de ser perfectos. Hasta ahora, han sido buenos para identificar a su propietario para no molestarlo, pero no ofrecen una garantía total de que la protección no se pueda evitar mediante métodos simples y baratos. La misma huella digital es mucho más difícil de falsificar: primero debe obtenerla (y esto no es fácil), luego hacer una copia física de la misma. Incluso omitir el código PIN en los teléfonos modernos es una tarea técnica bastante complicada . En cuanto a todas las tecnologías de reconocimiento facial, están menos protegidas y son mucho más fáciles de eludir, incluso a pesar de algunas de las dificultades descritas en el artículo. Sin embargo, la difusión generalizada de tales tecnologías a lo largo del tiempo probablemente contribuirá a aumentar su seguridad, ya que los sensores y algoritmos mejorarán.

Mientras tanto, le recomendamos que utilice estas tecnologías con precaución, por ejemplo, cuando entran en contacto con dinero directamente, como pagos sin contacto o cajeros automáticos con reconocimiento facial.

Autores : Alexander Polunin, Pavel Novikov, Natalya Frolova