Como testamos a tecnologia de reconhecimento de rosto e o que veio dela

A tecnologia biométrica está entrando rapidamente em nossas vidas. O reconhecimento de rosto aparece nos gadgets. Bancos em todo o mundo estão usando essa tecnologia em caixas eletrônicos. As câmeras de CFTV conectadas ao sistema de reconhecimento de rosto são projetadas para ajudar as agências policiais na captura de criminosos. Com a ajuda de uma pessoa, você pode fazer login nos serviços e confirmar pagamentos. E isso, como sempre no caso da alta tecnologia, é, naturalmente, apenas o começo. Uma pessoa se torna nosso passe, cartão de visita, instrumento de pagamento. Não pode ser esquecido ou perdido (exceto no sentido figurado). Mas essa tecnologia está bem protegida?

Decidimos pegar alguns dispositivos populares e tentar burlar as verificações com base na tecnologia de reconhecimento de rosto, começando com um simples, com desbloqueio de rosto (desbloqueio de rosto).

Nota : Os gadgets de pesquisa foram fornecidos pelos funcionários da empresa. O experimento descrito no tópico foi realizado na primavera de 2019, portanto, smartphones dos modelos não mais recentes participaram.

Elenco:

• OnePlus 5T
• Samsung Galaxy S8
• Windows Hello + Intel RealSense
• iPhone X
• Alexander Polunin , inspiração ideológica e modelo experimental (ignorando a tecnologia da foto)
• Pavel Novikov , especialista em dispositivos IoT e modelo para um modelo 3D
• Damir Zaynullin , pesquisador e modelo para uma máscara caseira
• E também Anna Davydova , Natalya Frolova , Anton Karpin e Chuck Norris

Portanto, tínhamos à disposição quatro dispositivos, em um deles - o Samsung Galaxy S8 - além da tecnologia de reconhecimento de rosto, também foi utilizada a tecnologia de reconhecimento de retina (Iris Scanner).

Duas tecnologias de hardware e software usadas nesses dispositivos foram destacadas. A primeira é a antiga tecnologia de reconhecimento de foto, ou seja, uma imagem plana. O programa tenta combinar a imagem com o que a câmera vê e faz ou não fornece acesso a informações protegidas. Ignorar esta tecnologia foi testada nos smartphones OnePlus e Samsung.

A segunda tecnologia, mais avançada, utiliza a projeção a laser de pontos na superfície, resultando em um tipo de grade. Uma câmera infravermelha embutida no dispositivo lê o reflexo dessa grade e, pela duração do sinal de retorno de cada ponto, entende a profundidade e a forma do objeto que fica na frente da câmera. Assim, é obtida uma imagem tridimensional. Essa tecnologia é usada no Windows Hello e no iPhone X (assim como na popular câmera Kinect).

Quatro métodos foram usados ​​para contornar:

1. foto colorida impressa em uma impressora;
2. foto infravermelha impressa em uma impressora em preto e branco;
3. máscara caseira;
4. Modelo de rosto 3D sem pintura, cópia pequena.

Pavel Novikov com uma cópia pequena do modelo 3D do rosto

Devemos dizer imediatamente que usamos os métodos mais baratos e mais rápidos para contornar a tecnologia de reconhecimento. Por exemplo, um modelo 3D pintado em tamanho real é complicado e caro. A tecnologia Iris Scanner da Samsung permite tirar fotos de retina bastante nítidas no infravermelho. Não conseguimos contornar essa tecnologia, mas encontramos um artigo muito divertido com exemplos de soluções alternativas. A julgar por este artigo, é necessário tirar uma foto de alta qualidade do olho em uma boa câmera, imprimir esta foto e dar volume colocando lentes de contato ou, em outra versão, dar brilho com cola. Naturalmente, na vida real, é difícil imaginar uma pessoa que permita que um estranho tire uma foto de seus próprios olhos de perto. Se você fotografar de longe, precisará de uma lente telefoto muito poderosa (e é improvável que a própria vítima fique imóvel).

Em outras palavras, a importância prática desse método é extremamente pequena, pois requer investimentos materiais substanciais e uma combinação de várias circunstâncias. Ao modelar um ataque, devemos, entre outras coisas, entender a complexidade de sua implementação.

Pela primeira vez, imprimimos uma foto colorida do rosto em uma folha A4.



Alexander Polunin em uma foto colorida e em preto e branco está pronto para reconhecimento

As experiências mostraram que o primeiro método desatualizado de determinação, com sucesso e estabilidade, custou dois smartphones à nossa disposição - o OnePlus 5T e o Samsung S8.

Em boa iluminação, o método de desvio usando uma foto colorida não deu resultado, os smartphones não foram desbloqueados. Com pouca luz, os dois telefones "reconheceram" a foto. Como mencionado acima, ambos os dispositivos usam a tecnologia mais simples - reconhecimento por foto colorida, na qual uma imagem plana do que a câmera vê é comparada com o que foi gravada como amostra.

O segundo método não funcionou - uma foto tirada no espectro infravermelho e impressa em uma impressora; é preto e branco e o sensor não o capta, ele precisa de uma imagem fotográfica em cores.

Simplificando, você pode contornar essa tecnologia baixando uma foto nas redes sociais e pagando algumas centenas de rublos para imprimir uma foto colorida em qualquer salão de fotos.

A tecnologia de reconhecimento de retina Iris Scanner foi testada no Samsung S8. Como mencionado acima, essa tecnologia não pode ser enganada por uma foto colorida dos olhos. Como a câmera e o sensor devem "olhar" nos olhos do proprietário, o smartphone deve ser trazido para perto; aparecerem olhos na tela, é necessário olhar para esta imagem, a luz infravermelha acende. A câmera frontal fotografa os olhos e o padrão da retina. Sugerimos que uma foto impressa dos olhos de alta qualidade desbloqueie o dispositivo. Garantimos que a câmera "entendesse" que estávamos mostrando os olhos dela, mas os detalhes da imagem não eram suficientes para treinar o sistema. Como mencionamos acima, de um artigo de outros pesquisadores com amostras de fotos que precisam enganar essa tecnologia, ficou claro que existe uma maneira de contornar a tecnologia, mas acabou sendo relativamente demorada e cara.

Quanto à segunda tecnologia mais moderna usada no Windows Hello e no iPhone X, aqui encontramos várias nuances interessantes.

O uso de uma foto colorida (1º método) não funcionou em nenhum dos dispositivos, porque a foto é uma imagem plana e, no Windows Hello, como no iPhone X, é usado um modelo tridimensional; a tecnologia permite que você "veja" um objeto tridimensional, localizado na frente da câmera, sua profundidade.

Note-se que a tecnologia Windows Hello tem usos diferentes. É usado para digitalização, para modelagem virtual em jogos de computador: você mostra uma mão para ela - ela constrói um esqueleto virtual e pode usar essa mão virtual, usando a sua, para executar várias manipulações no jogo. O reconhecimento no Windows Hello é baseado em dois critérios - por impressão digital e face; o último permite que você efetue login no Windows sentado no computador. A câmera reconhece o proprietário, mesmo em um quarto escuro. É por isso que essa tecnologia não precisa de cores no seu sentido usual. Existem dois sensores de imagem na câmera: uma cor e o segundo infravermelho, que lê a matriz projetada no objeto e a vê na luz infravermelha.



Imagem 3D da câmera Intel RealSense. Da mesma forma, o sistema de reconhecimento de rosto "nos vê". Existem óculos de sol no usuário. A câmera não recebe informações sobre os olhos, mas as informações disponíveis sobre o rosto permitem que o usuário efetue login.

Tiramos uma foto infravermelha usando a câmera Intel RealSense, imprimimos em uma impressora em preto e branco e tentamos fazer login (segundo método). Até a primavera de 2018, essa maneira bastante simples funcionava. Ocorreu um erro no software do dispositivo: durante a autorização, a profundidade e o volume não foram levados em consideração. Em abril de 2018, os desenvolvedores corrigiram o erro.

A máscara caseira (terceiro método) não permitia enganar nenhuma tecnologia - nem antiga, bidimensional nem tridimensional.

No caso do modelo 3D da face (quarto método), o Windows Hello se comportou de maneira incomum. Quando direcionamos a câmera para o treinamento neste modelo, o sistema circulou o rosto que “via”. Durante o treinamento, às vezes isso acontecia, às vezes não, mas ao mesmo tempo o sistema era treinado de qualquer maneira.

A tecnologia da câmera Intel RealSense permite ao usuário treinar novamente o sistema. Digamos que sua barba tenha crescido ou que você recebeu um dedo debaixo do olho, e o sistema deixou de reconhecê-lo. Nesse caso, você tem a oportunidade de treiná-la novamente. Como se viu, na realidade, não adiciona alterações à imagem criada, não a melhora, mas simplesmente cria uma imagem adicional. Dessa forma, conseguimos adicionar cinco pessoas completamente diferentes ao sistema para uma conta do Windows e todas as cinco pessoas tiveram a oportunidade de fazer login usando essa conta.

No caso do iPhone X, a foto infravermelha mostrou a semelhança da tecnologia Face ID com a tecnologia Intel RealSense. O sistema reconheceu que era um rosto e se permitiu ser educado. Mas, ao mesmo tempo, depois de imprimir a imagem do usuário real, inserida no iPhone, não foi possível efetuar o login: o volume ainda desempenha um papel. O princípio é simples: o que foi ensinado - e, portanto, autorizado. Ensinado pela foto - conectado pela foto. Ensinado na face - o sistema não autorizou a foto.

Também descobrimos que no iPhone, para o Face ID funcionar, a câmera precisa "ver" pelo menos um terço do rosto. (Em princípio, isso pode ser considerado um ponto potencialmente fraco: não há necessidade de reproduzir o rosto completamente para uma falsificação.) Você será reconhecido se colocar um chapéu ou deixar a barba crescer. Também será possível fazer login com um chapéu e barba, mas não mais com um chapéu esticado até as sobrancelhas e com um lenço enrolado até o nariz. Como experimento, cobrimos seqüencialmente partes do rosto com folhas de papel; cobriu a testa e o queixo separadamente e juntos, metade da face e testa com o queixo. Eles tentaram fazer o mesmo não com folhas de papel, mas com um chapéu, óculos escuros, um cachecol, um cachecol. Durante o experimento, ficou claro que, para desbloquear o iPhone, o sistema deve "ver" o nariz. Durante o treinamento, o sistema lembra a face e, provavelmente, um fragmento (aproximadamente um terço) da face é suficiente, o que compara com o recebido durante o treinamento.



O sistema reconhece o proprietário se sua face inferior estiver fechada



Para desbloquear o sistema, apenas um terço do rosto de Chuck é necessário. O principal é que o nariz não está fechado



O sistema permite que Ana desbloqueie o iPhone, mesmo quando ela tem um cachecol e óculos escuros.



A opção com a testa aberta e um lenço cobrindo a parte inferior do rosto, incluindo a boca, também permitirá a entrada no sistema



O sistema reconhece Chuck de chapéu



Escondido atrás de um robô de papelão, metade do rosto de Ani também permite desbloquear o dispositivo



O smartphone de Anton não reconhece seu dono se, com fortes geadas, ele enrola o cachecol até o nariz

A propósito, existe uma opinião de que esses sistemas permitem que as crianças entrem no telefone dos pais. Tentamos esse método com o iPhone X, mas não conseguimos enganá-lo dessa maneira.

No processo de robôs, encontramos uma nuance bastante engraçada. Ao aprender a tecnologia Face ID, o iPhone X exige que você torça a cabeça, supostamente para capturar uma imagem 3D. De fato, virar a cabeça não é necessário. De qualquer forma, não é necessário girar a cabeça devagar e com precisão de um lado para o outro e para cima e para baixo. Depois que o dispositivo encontrar um rosto, você poderá virar qualquer objeto na frente da câmera. Por exemplo, usamos lápis de cola: o efeito parecia exatamente o mesmo e o indicador circular era preenchido uniformemente, como se você estivesse virando a cabeça, permitindo que o dispositivo se lembrasse de todos os pontos do rosto. Então isso é apenas uma jogada de marketing?





No final do treinamento, o iPhone X exige uma virada na cabeça, mas torcemos o lápis de cola usual na frente da câmera - e o treinamento ocorreu

Em conclusão

Todos os métodos existentes de reconhecimento de rosto estão longe de serem perfeitos. Até o momento, eles foram bons em identificar o proprietário para não incomodá-lo, mas não garantem totalmente que a proteção não possa ser contornada por métodos simples e baratos. A mesma impressão digital é muito mais difícil de falsificar: primeiro você precisa obtê-la (e isso não é fácil) e depois fazer uma cópia física dela. Mesmo ignorar o código PIN em telefones modernos é uma tarefa técnica bastante complicada . Quanto a todas as tecnologias de reconhecimento de rosto, elas são menos protegidas e muito mais fáceis de contornar, apesar de algumas das dificuldades descritas no artigo. No entanto, a disseminação generalizada de tais tecnologias ao longo do tempo provavelmente contribuirá para aumentar sua segurança, uma vez que sensores e algoritmos melhorarão.

Enquanto isso, recomendamos que você use essas tecnologias com cuidado, por exemplo, quando elas entrarem em contato diretamente com dinheiro, como pagamentos sem contato ou caixas eletrônicos com reconhecimento facial.

Autores : Alexander Polunin, Pavel Novikov, Natalya Frolova