我们如何测试人脸识别技术以及它的结果



生物识别技术正在迅速进入我们的生活。 人脸识别出现在小工具中。 世界各地的银行都在自动柜员机中使用该技术。 连接到面部识别系统的闭路电视摄像机旨在帮助执法机构抓获罪犯。 在一个人的帮助下,您可以登录服务并确认付款。 当然,与高科技一样,这仅仅是开始。 一个人成为我们的通行证,名片,付款方式。 它不能被遗忘或丢失(具有象征意义的除外)。 但是,这项技术是否受到良好保护?

我们决定采用一些流行的设备,并尝试绕过基于面部识别技术的检查,从简单的设备开始,先进行面部解锁(面部解锁)。

注意 :研究小工具是由公司员工提供的。 该主题中描述的实验是在2019年春季进行的,因此并非最新型号的智能手机也参与其中。

演员:


  • 一加5T
  • 三星Galaxy S8
  • Windows Hello +英特尔实感
  • iPhone X
  • 亚历山大·波卢宁( Alexander Polunin) ,思想启发者和实验模型(绕过照片中的技术)
  • 物联网设备专家Pavel Novikov和3D模型的模型
  • Damir Zaynullin ,自制面膜的研究人员和模型
  • 还有Anna DavydovaNatalya FrolovaAnton KarpinChuck Norris

因此,我们有四款设备可供使用,其中之一-三星Galaxy S8-除了面部识别技术之外,还使用了视网膜识别技术(虹膜扫描仪)。

这些设备中使用了两种硬件和软件技术。 首先是旧的照片识别技术,即平面图像。 该程序尝试将图像与相机看到的图像进行匹配,可以或不可以访问受保护的信息。 绕过此技术已在OnePlus和Samsung智能手机上进行了测试。

第二种技术是更先进的技术,它使用点在表面上的激光投影,从而形成一种网格。 设备中内置的红外热像仪读取该栅格的反射,并通过来自每个点的返回信号的持续时间,了解位于热像仪前方的物体的深度和形状。 因此,获得了三维图像。 Windows Hello和iPhone X(以及流行的Kinect相机)使用了此技术。

解决了四种方法:

  1. 在打印机上打印的彩色照片;
  2. 在打印机上以黑白方式打印的红外照片;
  3. 自制面膜
  4. 未上漆的3D脸部模型,小型副本。



帕维尔·诺维科夫(Pavel Novikov)的脸部3D模型复制品

我们必须马上说,我们使用了成本最低,最快的方法来绕过识别技术。 例如,按实际大小绘制的3D模型既复杂又昂贵。 三星的虹膜扫描仪技术使您可以在红外线中拍摄清晰的视网膜照片。 我们无法绕开这项技术,但遇到了一篇非常有趣的文章,并提供了解决方法的示例。 从本文的角度来看,有必要在一台好的相机上拍摄出非常高质量的眼睛,打印出这张照片并通过粘贴隐形眼镜使其具有足够的体积,或者在另一种版本中使用胶水使之发光 。 当然,在现实生活中,很难想象会有一个人允许陌生人近距离拍摄自己的眼睛。 如果从远处拍摄,则需要一个非常强大的远摄镜头(受害者本身不太可能一动不动)。

换句话说,这种方法的实际意义在任何情况下都非常小,因为它需要大量的材料投资以及多种情况的结合。 在对攻击进行建模时,除其他外,我们必须了解其实施的复杂性。

对于第一种方法,我们在A4纸上打印了该脸部的彩色照片。



彩色和黑白照片上的亚历山大·波卢宁已准备好被认出

实验表明,第一种过时的测定方法成功稳定地花费了我们可以使用的两款智能手机-OnePlus 5T和Samsung S8。

在良好的照明条件下,使用彩色照片的旁路方法无法获得结果,智能手机也无法解锁。 在低光下,两部手机都“识别”了照片。 如上所述,这两种设备都使用最简单的技术-通过彩色照片识别,其中将相机看到的平面彩色图像与它作为样本记录的图像进行比较。

第二种方法不起作用-用红外光谱拍摄并在打印机上打印的照片; 它是黑白的,传感器无法拾取它,它需要彩色照片图像。

简而言之,您可以通过在社交网络上下载照片并支付几百卢布在任何一家照片沙龙打印彩色照片来解决该技术。

视网膜识别技术Iris Scanner已在Samsung S8上进行了测试。 如上所述,该技术不会被眼睛的彩色照片所迷惑。 由于相机和传感器应“注视”所有者的眼睛,因此应将智能手机靠近; 眼睛出现在屏幕上时,您需要查看此图像,红外灯打开。 前置摄像头拍摄眼睛和视网膜图案。 我们建议将高质量的眼睛印刷照片解锁设备。 我们确保相机“理解”了我们正在看她的眼睛,但是照片的细节不足以训练系统。 正如我们上面提到的,从其他研究人员的一篇带有需要欺骗该技术的照片样本的文章中,很明显,有一种方法可以绕过该技术,但是事实证明,它相对耗时且昂贵。

至于Windows Hello和iPhone X中使用的第二种更现代的技术,这里我们遇到了许多有趣的细微差别。

由于彩色照片是平面图像,因此在任何设备上都无法使用彩色照片(第一种方法),并且在Windows Hello(如iPhone X)中使用三维模型。 该技术使您可以“看到”一个三维对象,该对象位于相机的深度之前。

应该注意的是Windows Hello技术有不同的用途。 它用于扫描和计算机游戏中的虚拟建模:您向她展示一只手-她构建了一个虚拟骨架,并且您可以使用此虚拟手在游戏中进行各种操作。 Windows Hello中的识别基于两个标准-通过指纹和面部识别。 后者使您可以直接坐在计算机上登录Windows。 即使在黑暗的房间里,照相机也能识别出主人。 这就是为什么该技术不需要通常意义上的颜色。 相机中有两个图像传感器:一种颜色,第二种红外,它读取投影到对象上的矩阵并在红外光下看到它。



来自英特尔实感摄像头的3D图像。 同样,人脸识别系统“看到我们”。 用户上有太阳镜。 相机不接收有关眼睛的信息,但是有关面部的可用信息允许用户登录。

我们使用Intel RealSense相机拍摄了红外照片,将其打印在黑白打印机上,然后尝试登录(第二种方法)。 直到2018年春季,这种相当简单的方式一直有效。 事实证明,设备软件存在错误:在授权过程中,未考虑深度和体积。 在2018年4月,开发人员修复了该错误。

自制的面具(第3种方法)不允许欺骗任何技术-旧的,二维的或三维的。

对于人脸的3D模型(第4种方法),Windows Hello的行为异常。 当我们指导相机对该模型进行训练时,系统会圈出它“看到”的脸。 在训练过程中,有时会发生这种情况,有时不会发生,但同时还是对系统进行了训练。

英特尔实感摄像头中的技术允许用户重新培训系统。 假设您的胡须已经长大,或者您的眼睛受到了刺痛,并且系统不再能够识别您。 在这种情况下,您将有机会重新培训她。 事实证明,实际上,它不会对创建的图像添加任何更改,也不会对其进行改进,而只是创建一个附加图像。 这样,我们就可以为一个Windows帐户向系统添加五个完全不同的人,并且所有五个人都有机会使用该帐户登录。

对于iPhone X,红外照片显示了Face ID技术与Intel RealSense技术的相似之处。 系统认识到这是一张面孔,因此可以接受自我教育。 但与此同时,在打印出已输入到iPhone中的真实用户的图像后,无法登录:该卷仍然起作用。 原理很简单:所教的内容-因此得到授权。 图片授课-图片登录。 授课在脸上-系统未授权照片。

我们还发现,在iPhone上,要使Face ID起作用,相机需要“看到”至少三分之一的面部。 (原则上,这可以看作是一个潜在的薄弱环节:无需完全仿制假面。)如果戴上帽子或留着胡须,就会被认出来。 还可以使用帽子和胡须来登录,但不再需要将帽子伸到眉毛上并且围巾一直缠绕到鼻子上。 作为实验,我们依次用纸盖住了脸的一部分; 分别遮盖额头和下巴,并用下巴遮盖脸部和额头的一半。 他们试图做到的不是用纸做的,而是用帽子,墨镜,围巾和围巾做的。 在实验过程中,很明显,要解锁iPhone,系统必须“看到”鼻子。 在训练过程中,系统会记住脸部,然后很可能,一张脸部的碎片(大约三分之一)就足够了,将其与训练过程中接收到的进行比较。



如果所有者的下脸是封闭的,系统会识别出所有者



要解锁系统,只需要Chuck三分之一的脸即可。 最主要的是鼻子没有闭合



该系统允许Ana在iPhone上戴着围巾和墨镜时也可以解锁iPhone。



带有开放式前额和覆盖面部下部(包括嘴部)的围巾的选件也可以使您进入系统



系统识别帽子中的Chuck



隐藏在纸板机器人后面的Ani脸的一半还可以让您解锁设备



如果在霜冻严重的情况下,Anton的智能手机无法将其围巾包裹到鼻子上,则无法识别其所有者

顺便说一句,有一种观点认为这样的系统可以让孩子们进入父母的手机中。 我们在iPhone X上尝试了这种方法,但无法以这种方式欺骗它。

在机器人的过程中,我们遇到了一个相当有趣的细微差别。 在学习Face ID技术时,iPhone X要求您扭头以捕获3D图像。 实际上,不必自己动脑子。 在任何情况下,都不需要缓慢而准确地左右旋转头部和上下旋转头部。 设备找到脸部后,您可以转动相机前面的任何物体。 例如,我们使用了胶笔:效果看起来完全一样,圆形指示器均匀地填充,就好像您在转动头一样,使设备可以记住脸部的所有点。 因此,这只是一种营销策略?





培训结束时,iPhone X需要转动一下头,但是我们在镜头前扭曲了普通的胶笔-培训开始了



总结


现有的所有面部识别方法都不是完美的。 到目前为止,他们一直善于识别所有者,以免给他带来不便,但他们并不能完全保证不能通过简单廉价的方法绕过保护措施。 相同的指纹很难伪造:首先需要获取它(这并不容易),然后对其进行物理复制。 即使绕过现代电话上的PIN码, 也是一项相当复杂的技术任务 。 对于所有人脸识别技术,尽管本文中描述了一些困难,但它们的保护较少,并且更容易规避。 但是,随着时间的推移,此类技术的广泛传播可能会有助于提高其安全性,因为传感器和算法将得到改善。

同时,我们建议您谨慎使用这些技术,例如,当它们直接与金钱接触时,例如非接触式付款或带有面部识别功能的ATM。

作者 :亚历山大·波洛宁(Alexander Polunin),帕维尔·诺维科夫(Pavel Novikov),娜塔莉亚·弗罗洛娃(Natalya Frolova)

Source: https://habr.com/ru/post/zh-CN464809/


All Articles