PIFR - um método de gerar uma máscara 3D, independentemente do ângulo de rotação da face

Apresentamos a sua atenção a tradução do artigo “ PIFR: Reconstituição de face 3D invariante em pose ”.

Em muitas aplicações do mundo real, incluindo detecção e reconhecimento de rosto, a geração de emoticons e adesivos 3D, a geometria do rosto precisa ser restaurada a partir de imagens planas. No entanto, essa tarefa permanece difícil, especialmente quando a maioria das informações sobre o rosto é desconhecida.

Jiang e Wu da Universidade de Jiannan (China) e Kittler da Universidade de Surrey (Grã-Bretanha) oferecem um novo algoritmo de reconstrução de face 3D - PIFR , que aumenta significativamente a precisão da reconstrução, mesmo em poses difíceis.

Mas vamos primeiro revisar brevemente o trabalho anterior sobre máscaras 3D e reconstrução de face.

Estudos de última geração

Os autores mencionam quatro métodos comumente disponíveis para transformar uma máscara 3D:

• Modelo BML proposto pela Universidade de Basileia;
• Modelos 3DMM desenvolvidos por Branton e outros;
• Modelo de rosto em multi-resolução 3D fornecido pela Universidade de Surrey (Reino Unido);
• O modelo de rosto em larga escala (KMML) criado pelo Imperial College.

O artigo usa o modelo BML, que é o mais popular.

Existem várias abordagens para recriar um modelo 3D a partir de uma imagem plana, incluindo:

• método de regressão em cascata ;
• uma combinação de detecção de ponto de referência de face e reconstrução de face 3D, bem como indexação de recursos para criar um modelo de regressão baseado em árvore ;
• um método de normalização da expressão e posição facial ;
• Extensão 3DMM ( E-3DMM ), que leva em consideração alterações nas expressões faciais;
• ajuste ponderado dos marcos 3DMM com base no método de regressão tradicional.

Método sugerido - PIFR

O artigo de Jiang, Wu e Kitler propõe uma nova Reconstrução Facial 3D Invariante a Pose (PIFR) baseada no método 3DMM.

Primeiramente, os autores propõem gerar uma imagem frontal, normalizando uma imagem de face de entrada. Esta etapa permite restaurar informações de identidade adicionais da pessoa.

O próximo passo é usar a soma ponderada dos recursos 3D de duas imagens: frontal e fonte. Isso permite não apenas preservar a pose da imagem original, mas também expandir as informações de identificação.

Esquema da abordagem proposta:



Experimentos mostram que o algoritmo PIVL melhorou significativamente o desempenho da reconstrução facial 3D em comparação com os métodos anteriores, especialmente em poses complexas.

Considere o modelo proposto em mais detalhes.

Descrição do método

O método PIVL depende muito do processo de ajuste do 3DMM, que pode ser expresso como uma minimização do erro no cálculo das coordenadas das projeções 3D dos pontos-chave. No entanto, a face criada pelo modelo 3D possui cerca de 50.000 vértices e, portanto, cálculos iterativos levam a uma convergência lenta e ineficiente.

Para superar esse problema, os pesquisadores sugerem o uso de pontos-chave (por exemplo, o centro do olho, o ângulo da boca e a ponta do nariz) como a principal verdade no processo de ajuste da máscara. Em particular, um ajuste 3DMM de referência ponderado é usado.


Linha superior: imagem original e ponto de referência. Linha inferior: modelo de face 3D e seu alinhamento em uma imagem 2D

A próxima tarefa é recriar uma máscara facial 3D em close-up. Para resolver esse problema, os pesquisadores usam o método de normalização de alta precisão da postura e expressão (VNPV) , mas para normalizar apenas a postura, e não as expressões faciais. Além disso, a edição de Poisson é usada para restaurar a área do rosto fechada devido ao ângulo de visão.

Comparação de desempenho com outros métodos

A eficácia do método PIVL foi avaliada para recriar o rosto:

1. em pequenas e médias poses;
2. close-ups;
3. posturas complexas (ângulos de desvio ± 90).

Para isso, os pesquisadores usaram três conjuntos de dados públicos :

• O conjunto de dados AFW criado usando imagens do Flickr contém 205 imagens com 468 faces marcadas, planos de fundo complexos e poses de rosto.
• Conjunto de dados LFPW contendo 224 imagens de faces em um conjunto de teste e 811 imagens de faces em um conjunto de treinamento; cada imagem é marcada com 68 pontos característicos; 900 imagens de ambos os conjuntos foram selecionadas para teste neste estudo.
• O AFLW Dataset é um banco de dados de rosto em larga escala que contém cerca de 250 milhões de imagens marcadas à mão e cada imagem é marcada com 21 pontos de recurso. Neste estudo, apenas imagens em posições faciais complexas desse conjunto de dados foram usadas para análise qualitativa.
  

Análise quantitativa

Usando a Métrica Média Euclidiana (CEM), o estudo compara o desempenho do método PIFR com E-3DMM e FW-3DMM nos conjuntos de dados AFW e lfpw. As curvas de distribuição de erro acumulado (RNO) são as seguintes:


Comparação de curvas de distribuição de erro cumulativa (RNO) no conjunto de dados AFW e LFPW

Como pode ser visto nesses gráficos e tabelas abaixo, o método PIVL mostra eficiência superior em comparação com os outros dois métodos. Especialmente boa é a eficácia da recreação para close-ups.

Análise Qualitativa

O método também foi avaliado qualitativamente com base em fotografias de rostos em diferentes posições do conjunto de dados AFLW. Os resultados são mostrados na figura abaixo.


Comparação da reconstrução facial 3D: (a) imagem original; (b) FW-3DMM; (c) E-3DMM; (d) abordagem proposta

Mesmo que metade dos pontos de referência não seja visível devido a uma postura não trivial, o que leva a grandes erros e falhas de outros métodos, o método PIFR ainda funciona bem.

Abaixo estão exemplos adicionais da eficácia do método PIVL com base em imagens do conjunto de dados AFW.


Linha superior: entrada de imagem 2D. Linha do meio: máscara 3D. Linha inferior: alinhamento da máscara

Sumário

O novo algoritmo de reconstrução de face PIVL fornece bons resultados de reconstrução, mesmo em poses complexas. Aceitando imagens de origem e de frente para mesclagem ponderada, o método permite restaurar informações suficientes sobre os rostos para recriar uma máscara 3D.

No futuro, os pesquisadores planejam restaurar ainda mais informações sobre o rosto, a fim de aumentar a precisão da reconstrução da máscara.

O original

Traduzido - Farid Gasratov