Comment nous avons testé la technologie de reconnaissance faciale et ce qui en est ressorti

La technologie biométrique entre rapidement dans nos vies. La reconnaissance faciale apparaît dans les gadgets. Les banques du monde entier utilisent cette technologie dans les distributeurs automatiques de billets. Les caméras de vidéosurveillance connectées au système de reconnaissance faciale sont conçues pour aider les services répressifs à capturer les criminels. Avec l'aide d'une personne, vous pouvez vous connecter aux services et confirmer les paiements. Et cela, comme toujours dans le cas de la haute technologie, n'est bien sûr que le début. Une personne devient notre pass, carte de visite, instrument de paiement. Il ne peut être oublié ou perdu (sauf au sens figuré). Mais cette technologie est-elle bien protégée?

Nous avons décidé de prendre certains appareils populaires et d'essayer de contourner les contrôles basés sur la technologie de reconnaissance faciale, en commençant par un simple, avec déverrouillage facial (déverrouillage facial).

Remarque : les gadgets de recherche ont été fournis par les employés de l'entreprise. L'expérience décrite dans le sujet a été menée au printemps 2019, de sorte que les smartphones des derniers modèles n'y ont pas participé.

Distribution:

• OnePlus 5T
• Samsung Galaxy S8
• Windows Hello + Intel RealSense
• iPhone X
• Alexander Polunin , inspiration idéologique et modèle expérimental (contournant la technologie de la photo)
• Pavel Novikov , spécialiste des dispositifs IoT et modèle pour un modèle 3D
• Damir Zaynullin , chercheur et modèle pour un masque fait maison
• Et aussi Anna Davydova , Natalya Frolova , Anton Karpin et Chuck Norris

Nous avions donc quatre appareils à notre disposition, l'un d'eux - Samsung Galaxy S8 - en plus de la technologie de reconnaissance faciale, la technologie de reconnaissance de la rétine (Iris Scanner) a également été utilisée.

Deux technologies matérielles et logicielles utilisées dans ces appareils ont été mises en évidence. La première est l'ancienne technologie de reconnaissance photo, c'est-à-dire une image plate. Le programme essaie de faire correspondre l'image avec ce que la caméra voit et donne ou ne donne pas accès aux informations protégées. Le contournement de cette technologie a été testé sur les smartphones OnePlus et Samsung.

La deuxième technologie, plus avancée, utilise la projection laser de points à la surface, ce qui donne une sorte de grille. Une caméra infrarouge intégrée à l'appareil lit la réflexion de cette grille et, par la durée du signal de retour de chaque point, comprend la profondeur et la forme de l'objet qui se trouve devant la caméra. Ainsi, une image tridimensionnelle est obtenue. Cette technologie est utilisée dans Windows Hello et iPhone X (ainsi que dans la célèbre caméra Kinect).

Quatre méthodes ont été utilisées pour contourner ce problème:

1. photo couleur imprimée sur une imprimante;
2. photo infrarouge imprimée sur une imprimante en noir et blanc;
3. masque fait maison;
4. Modèle de visage 3D non peint, petite copie.

Pavel Novikov avec une petite copie du modèle 3D de son visage

Nous devons dire tout de suite que nous avons utilisé les méthodes les moins coûteuses et les plus rapides pour contourner la technologie de reconnaissance. Par exemple, un modèle 3D peint grandeur nature est compliqué et coûteux. La technologie Iris Scanner de Samsung vous permet de prendre des photos de la rétine assez claires dans l'infrarouge. Nous n'avons pas pu contourner cette technologie, mais nous sommes tombés sur un article très amusant avec des exemples de solution. À en juger par cet article, il est nécessaire de prendre une photo de très haute qualité de l'œil sur un bon appareil photo, d'imprimer cette photo et de lui donner du volume en collant des lentilles de contact, ou, dans une autre version, de briller avec de la colle. Bien sûr, dans la vraie vie, il est difficile d'imaginer une personne qui permettra à un étranger de prendre une photo de ses propres yeux à bout portant. Si vous photographiez de loin, vous avez besoin d'un téléobjectif très puissant (et il est peu probable que la victime elle-même soit complètement immobile).

En d'autres termes, la signification pratique d'une telle méthode est en tout cas extrêmement faible, car elle nécessite des investissements matériels importants et une combinaison d'un certain nombre de circonstances. Lors de la modélisation d'une attaque, nous devons, entre autres, comprendre la complexité de sa mise en œuvre.

Pour la première fois, nous avons imprimé une photo couleur du visage sur une feuille A4.



Alexander Polunin sur une photo couleur et noir et blanc est prêt pour la reconnaissance

Les expériences ont montré que la première méthode de détermination obsolète coûtait avec succès et stabilité deux smartphones qui étaient à notre disposition - OnePlus 5T et Samsung S8.

Dans un bon éclairage, la méthode de contournement utilisant une photo couleur n'a pas donné de résultat, les smartphones ne se sont pas déverrouillés. En basse lumière, les deux téléphones ont "reconnu" la photo. Comme mentionné ci-dessus, les deux appareils utilisent la technologie la plus simple - la reconnaissance par photo couleur, dans laquelle une image couleur plate de ce que la caméra voit est comparée à ce qu'elle a enregistré comme échantillon.

La deuxième méthode n'a pas fonctionné - une photo prise dans le spectre infrarouge et imprimée sur une imprimante; il est en noir et blanc et le capteur ne le capte pas, il a besoin d'une image photo couleur.

Autrement dit, vous pouvez contourner cette technologie en téléchargeant une photo sur les réseaux sociaux et en payant quelques centaines de roubles pour imprimer une photo couleur dans n'importe quel salon photo.

La technologie de reconnaissance de la rétine Iris Scanner a été testée sur Samsung S8. Comme mentionné ci-dessus, cette technologie ne pouvait pas être trompée par une photo couleur des yeux. Étant donné que l'appareil photo et le capteur doivent «regarder» dans les yeux du propriétaire, le smartphone doit être rapproché; des yeux apparaissent sur l'écran, vous devez regarder cette image, la lumière infrarouge s'allume. La caméra frontale photographie les yeux et le motif de la rétine. Nous avons suggéré qu'une photo imprimée de haute qualité des yeux déverrouille l'appareil. Nous nous sommes assurés que la caméra «comprenait» que nous lui montrions les yeux, mais le détail de l'image n'était pas suffisant pour entraîner le système. Comme nous l'avons mentionné ci-dessus, à partir d'un article d'autres chercheurs avec des échantillons de photos qui doivent tromper cette technologie, il est devenu clair qu'il existe un moyen de contourner la technologie, mais il s'est avéré être relativement long et coûteux.

Quant à la deuxième technologie plus moderne utilisée dans Windows Hello et iPhone X, nous sommes tombés sur un certain nombre de nuances intéressantes.

L'utilisation d'une photo couleur (1ère méthode) n'a fonctionné sur aucun des appareils, car la photo est une image plate, et dans Windows Hello, comme dans l'iPhone X, un modèle tridimensionnel est utilisé; la technologie vous permet de "voir" un objet tridimensionnel, qui se trouve devant la caméra, sa profondeur.

Il convient de noter que la technologie Windows Hello a différentes utilisations. Il est utilisé pour la numérisation, pour la modélisation virtuelle dans les jeux informatiques: vous lui montrez une main - elle construit un squelette virtuel, et vous pouvez utiliser cette main virtuelle, en utilisant la vôtre, pour effectuer diverses manipulations dans le jeu. La reconnaissance dans Windows Hello est basée sur deux critères - par empreinte digitale et visage; ce dernier vous permet de vous connecter à Windows simplement assis devant l'ordinateur. La caméra reconnaît le propriétaire, même dans une pièce sombre. C'est pourquoi cette technologie n'a pas besoin de couleur dans son sens habituel. Il y a deux capteurs d'image dans la caméra: une couleur et le second infrarouge, qui lit la matrice projetée sur l'objet et la voit en lumière infrarouge.



Image 3D de la caméra Intel RealSense. De même, le système de reconnaissance faciale «nous voit». Il y a des lunettes de soleil sur l'utilisateur. L'appareil photo ne reçoit pas d'informations sur les yeux, mais les informations disponibles sur le visage permettent à l'utilisateur de se connecter.

Nous avons pris une photo infrarouge à l'aide de la caméra Intel RealSense, l'avons imprimée sur une imprimante noir et blanc et avons essayé de nous connecter (2e méthode). Jusqu'au printemps 2018, cette méthode assez simple a fonctionné. Il s'est avéré qu'il y avait une erreur dans le logiciel de l'appareil: lors de l'autorisation, la profondeur et le volume n'étaient pas pris en compte. En avril 2018, les développeurs ont corrigé l'erreur.

Le masque fait maison (3ème méthode) ne permettait de tromper aucune technologie - ni ancienne, ni bidimensionnelle, ni tridimensionnelle.

Dans le cas du modèle 3D du visage (4ème méthode), Windows Hello s'est comporté de façon inhabituelle. Lorsque nous avons dirigé la caméra pour la formation sur ce modèle, le système a encerclé le visage qu'il a «vu». Pendant la formation, cela arrivait parfois, parfois non, mais en même temps, le système était quand même formé.

La technologie de la caméra Intel RealSense permet à l'utilisateur de recycler le système. Disons que votre barbe a grandi ou que vous avez reçu un doigt sous l'œil et que le système a cessé de vous reconnaître. Dans ce cas, vous avez la possibilité de la recycler. Il s'est avéré qu'en réalité, il n'ajoute aucun changement à l'image créée, ne l'améliore pas, mais crée simplement une image supplémentaire. De cette façon, nous avons pu ajouter cinq personnes complètement différentes au système pour un compte Windows, et les cinq personnes ont eu la possibilité de se connecter en utilisant ce compte.

Dans le cas de l'iPhone X, la photo infrarouge a montré la similitude de la technologie Face ID avec la technologie Intel RealSense. Le système a reconnu qu'il s'agissait d'un visage et s'est laissé éduquer. Mais en même temps, après avoir imprimé l'image du vrai utilisateur, qui est entrée dans l'iPhone, il n'a pas été possible de se connecter: le volume joue toujours un rôle. Le principe est simple: ce qui a été enseigné - et donc autorisé. Enseigné par l'image - connecté par l'image. Enseigné sur le visage - le système n'a pas autorisé la photo.

Nous avons également découvert que sur iPhone, pour que Face ID fonctionne, la caméra doit «voir» au moins un tiers du visage. (En principe, cela peut être considéré comme un point potentiellement faible: il n'est pas nécessaire de reproduire complètement le visage pour un faux.) Vous serez reconnu si vous portez un chapeau ou faites pousser une barbe. Il sera également possible de se connecter avec un chapeau et une barbe, mais plus avec un chapeau tendu jusqu'aux sourcils et avec une écharpe enroulée jusqu'au nez. À titre expérimental, nous avons recouvert séquentiellement des parties du visage avec des feuilles de papier; couvert le front et le menton séparément et ensemble, la moitié du visage et du front avec le menton. Ils ont essayé de faire la même chose non pas avec des feuilles de papier, mais avec un chapeau, des lunettes noires, un foulard, un foulard. Au cours de l'expérience, il est devenu clair que pour déverrouiller l'iPhone, le système devait "voir" le nez. Pendant la formation, le système se souvient du visage, puis, très probablement, un fragment (environ un tiers) du visage lui suffit, qu'il compare à celui reçu pendant la formation.



Le système reconnaît le propriétaire si sa face inférieure est fermée



Pour déverrouiller le système, seul un tiers du visage de Chuck est requis. L'essentiel est que le nez ne soit pas fermé



Le système permet à Ana de déverrouiller l'iPhone même lorsqu'elle porte un foulard et des lunettes noires.



L'option avec un front ouvert et un foulard couvrant la partie inférieure du visage, y compris la bouche, vous permettra également d'entrer dans le système



Le système reconnaît Chuck dans un chapeau



Caché derrière un robot en carton, la moitié du visage d'Ani vous permet également de déverrouiller l'appareil



Le smartphone d'Anton ne reconnaît pas son propriétaire si, par fortes gelées, il enveloppe son foulard jusqu'au nez

Soit dit en passant, il existe une opinion selon laquelle de tels systèmes laissent les enfants entrer dans le téléphone de leurs parents. Nous avons essayé cette méthode avec l'iPhone X, mais nous n'avons pas pu la tromper de cette façon.

Dans le processus des robots, nous sommes tombés sur une nuance plutôt drôle. Lors de l'apprentissage de la technologie Face ID, l'iPhone X vous oblige à tourner la tête, soi-disant pour capturer une image 3D. En fait, tourner la tête n'est pas nécessaire. Dans tous les cas, il n'est pas nécessaire de tourner lentement et avec précision la tête d'un côté à l'autre et de haut en bas. Une fois que l'appareil a trouvé un visage, vous pouvez tourner n'importe quel objet devant la caméra. Par exemple, nous avons utilisé un crayon à colle: l'effet était exactement le même et l'indicateur circulaire était uniformément rempli, comme si vous tourniez la tête, permettant à l'appareil de se souvenir de tous les points du visage. Ce n'est donc qu'un stratagème de marketing?





À la fin de la formation, l'iPhone X nécessite un tour de tête, mais nous avons tordu le crayon de colle habituel devant la caméra - et la formation a eu lieu

En conclusion

Toutes les méthodes existantes de reconnaissance faciale sont loin d'être parfaites. Jusqu'à présent, ils ont réussi à identifier leur propriétaire afin de ne pas le gêner, mais ils ne garantissent pas pleinement que la protection ne peut être contournée par des méthodes simples et bon marché. La même empreinte digitale est beaucoup plus difficile à truquer: vous devez d'abord l'obtenir (et ce n'est pas facile), puis en faire une copie physique. Même le contournement du code PIN sur les téléphones modernes est une tâche technique assez compliquée . Quant à toutes les technologies de reconnaissance faciale, elles sont moins protégées et sont beaucoup plus faciles à contourner, malgré certaines des difficultés décrites dans l'article. Cependant, la diffusion généralisée de ces technologies au fil du temps contribuera probablement à accroître leur sécurité, car les capteurs et les algorithmes s'amélioreront.

En attendant, nous vous recommandons d'utiliser ces technologies avec prudence, par exemple, lorsqu'elles entrent directement en contact avec de l'argent, comme les paiements sans contact ou les distributeurs automatiques de billets avec reconnaissance faciale.

Auteurs : Alexander Polunin, Pavel Novikov, Natalya Frolova