Análise de vídeo: reconhecimento de rosto, detector de fila, pesquisa de objetos em vídeo

A empresa taiwanesa 42Ark e o fabricante norte-americano de alimentadores "inteligentes" CatFi Box usam câmeras de CFTV para reconhecer rostos de gatos

Em 1941, o engenheiro elétrico alemão Walter Bruch instalou um sistema de CFTV (Circuito Fechado de Televisão - um sistema de televisão em circuito fechado) no local de teste onde os foguetes V-2 foram testados. Este é o primeiro caso na história do uso de videovigilância na prática. O operador teve que sentar na frente do monitor o tempo todo. Isso continuou até 1951, até que os primeiros dispositivos VTR (VideoTape Recorder) que gravaram imagens em fita magnética apareceram.

A gravação na mídia não salvou o operador da necessidade de participar do processo. Reconhecimento de rosto, localização de objetos e até detecção de movimento - todas essas funções foram executadas por uma pessoa sentada em frente ao monitor em tempo real ou estudando o arquivo de vídeo após o fato.

A roda do progresso continua. A vigilância por vídeo recebeu uma análise de vídeo que mudou completamente o processo de trabalho com o sistema. Lembra da história sobre o gato e a rede neural de aprendizado profundo? Sim, isso também faz parte da análise de vídeo, mas é minúsculo. Hoje falaremos sobre tecnologias que estão mudando fundamentalmente o mundo dos sistemas de CFTV.

Detecção de fila e teste beta

A primeira câmera IP do mundo, Neteye 200, criada em 1996 pela Axis

A vigilância por vídeo nasceu como um sistema de segurança fechado, projetado apenas para resolver problemas de segurança. As limitações da vigilância por vídeo analógico não permitiram o uso de equipamentos de nenhuma outra maneira. A integração da videovigilância com sistemas digitais abriu a possibilidade de receber automaticamente vários dados analisando a sequência de imagens.

É difícil superestimar a importância: no caso usual, após 12 minutos de observação contínua, o operador começa a perder até 45% dos eventos. E até 95% dos eventos potencialmente perturbadores serão perdidos após 22 minutos de monitoramento contínuo (de acordo com o IMS Research, 2002).

Apareceram algoritmos complexos de análise de vídeo: contagem de visitantes, contagem de conversões, estatísticas de transações em dinheiro e muito mais. O operador de observação desaparece neste sistema - deixamos o computador com a capacidade de "assistir" e tirar conclusões.

O exemplo mais simples de vigilância por vídeo inteligente é a detecção de movimento. Não é tão importante se existe um detector embutido na própria câmera - se você instalar, por exemplo, o software Ivideon Server em um computador, o detector de movimento será usado. Um detector pode substituir vários operadores de vigilância por vídeo ao mesmo tempo. E já nos anos 2000, começaram a aparecer os primeiros sistemas de análise de vídeo capazes de reconhecer objetos e eventos no quadro.

Atualmente, a Ivideon está desenvolvendo vários módulos de análise de vídeo - desde o lançamento do OpenAPI , as coisas foram mais rápidas através da integração com parceiros. Alguns dos projetos ainda estão em teste fechado, mas algo já está pronto. Isto é, primeiramente, a integração com caixas registradoras para controlar transações de caixa (até agora baseadas em iiko e Shtrikh-M). Em segundo lugar, um detector de fila foi desenvolvido.

Tínhamos um balcão Ivideon , que determinava o número de clientes na sala. O Analytics nos permitiu mudar de equipamento especial para a computação em nuvem. Agora não precisamos de uma câmera específica - qualquer câmera de vigilância com resolução de 1080p + é adequada. Agora, queremos não apenas contar as pessoas, mas determinar as filas. Portanto, eles estão prontos para qualquer loja, shopping ou escritório onde as pessoas vão e se formam, formando filas, para fornecer uma câmera gratuita para o teste de detecção de filas. Envie-nos um email para participar do projeto.

Além disso, Ivideon trabalha com tecnologia de reconhecimento de rosto.

Quem reconhece como

Tecnologia DeepFace passa no teste do Facebook com reconhecimento emocional de rosto de Sylvester Stallone

Apple, Facebook, Google, Intel, Microsoft e outros gigantes da tecnologia estão trabalhando em soluções nessa área. Sistemas de videovigilância com reconhecimento facial automático de passageiros estão instalados em 22 aeroportos dos EUA. Na Austrália, eles estão desenvolvendo um sistema biométrico de reconhecimento de faces e impressões digitais como parte de um programa projetado para automatizar o controle de passaportes e alfândegas.



A maior empresa chinesa de Internet Baidu realizou um experimento bem-sucedido de cancelamento de tickets usando a tecnologia de reconhecimento de rosto com uma precisão de 99,77%, com um tempo de disparo e reconhecimento de 0,6 segundos. Nas entradas do parque estão montados tablets e molduras especiais que conduzem o tiroteio. Quando um turista chega ao parque pela primeira vez, o sistema tira uma foto dele para usar a função de reconhecimento de rosto na foto no futuro. Novas fotos são comparadas com fotos do banco de dados - dessa forma, o sistema determina se uma pessoa tem o direito de visitá-la.



Na China, a tecnologia geralmente é muito boa. Em 2015, a Alipay, uma operadora de plataforma de pagamento on-line que faz parte da Alibaba Holding, lançou um sistema de verificação de pagamento baseado no Face ++, uma plataforma de reconhecimento de face na nuvem criada pela startup chinesa Megvii. O sistema é chamado Sorriso para Pagar - permite que os usuários da Alipay paguem compras on-line tirando uma selfie (a Alipay determina o proprietário com um sorriso). O UBER na China começou a usar o sistema de reconhecimento de motorista baseado no Face ++ para combater fraudes, roubo de identidade e fornecer segurança adicional aos passageiros.

Mas é mais interessante olhar não para soluções estrangeiras, mas para serviços criados na Rússia. Essas tecnologias estão muito mais próximas do usuário final (se ele é do nosso país), você pode se familiarizar com elas e, no futuro, se unir para uso em seu próprio produto. Existem muitas empresas de reconhecimento facial por aí. Lembremos alguns que permanecem de ouvido.



A empresa Vokord, fundada em 1999, usa o FaceControl 3D para trabalhar com imagens síncronas de câmeras estéreo, constrói um modelo 3D da face no quadro e procura automaticamente o modelo obtido com os modelos no banco de dados existente. Em 2016, a Vokord começou a usar seu próprio algoritmo matemático de reconhecimento facial, que é baseado em redes neurais convolucionais, então seus algoritmos agora funcionam com qualquer câmera de vigilância por vídeo. A empresa afirma que eles podem reconhecer os rostos (no tamanho de 128x128 pixels) das pessoas que seguem o fluxo. No final de 2016, o algoritmo Vocord DeepVo1 apresentou os melhores resultados no teste de identificação global, reconhecendo corretamente 75,127% dos indivíduos.



Fundada em 2012, a VisionLabs venceu a maior competição de empresas de tecnologia GoTech na Rússia e na Europa Oriental e foi incluída na lista de finalistas do programa europeu “ Challenge UP! Projetado para acelerar o lançamento no mercado de soluções e serviços baseados no conceito de Internet das coisas, atraiu investimentos multimilionários e já está introduzindo seus produtos no setor comercial. Recentemente, o Otkritie Bank lançou o sistema de reconhecimento de rosto VisionLabs para otimizar o atendimento ao cliente e os tempos de espera na fila. Vale a pena ler uma história maravilhosa de como os especialistas em CROC pegaram um gato usando o VisionLabs.

O VisionLabs, que mostrou um dos melhores resultados em taxas de reconhecimento e erro, também trabalha com redes neurais que revelam características específicas de cada rosto, como formato dos olhos, nariz, alívio auricular, etc. Seu sistema Luna permite encontrar todos esses recursos do rosto na foto nos arquivos. Outra decisão da empresa, a Face Is, reconhece o rosto do cliente na loja, encontra seu perfil no sistema de CRM, aprende com ele o histórico de compras e os interesses do comprador e envia uma notificação com uma oferta pessoal sobre o desconto em sua categoria favorita de produtos para o telefone.

A automação do processo de contratação da startup Skillaz e da VisionLabs está planejando introduzir um sistema de reconhecimento por computador no final de 2017 que avaliará o comportamento dos candidatos a emprego. Após analisar os dados, o sistema tirará conclusões sobre as qualidades profissionais de uma pessoa e a adequação ao cargo. As características completas do sistema de “aluguel de carros” não são divulgadas pela empresa. Sabe-se apenas que a sociabilidade do candidato será avaliada com base em suas respostas a um conjunto específico de perguntas feitas pelo sistema de entrevistas on-line. A rede neural procurará a relação entre o comportamento do candidato na imagem da câmera de vigilância e o grau de severidade de uma ou outra competência.

A grade, que é o Dr. Lightman e Sherlock Holmes em uma pessoa, levará em conta as expressões faciais do candidato, seus gestos e a fisionomia. Vale ressaltar que o método de determinar o tipo de personalidade da pessoa, suas qualidades espirituais, com base na análise de características externas e sua expressão, é considerado um exemplo moderno de pseudociência na ciência psicológica moderna. Ainda não está claro como lidar com essa contradição no novo produto.


Slide de apresentação do NTechLab deprimente Salman Radaev

O NTechLab começou com um aplicativo que determinava a raça de cães a partir de uma fotografia. Mais tarde, eles escreveram o algoritmo FaceN, com o qual, no outono de 2015, participaram da competição internacional The MegaFace Benchmark . O NTechLab ganhou duas das quatro indicações, vencendo a equipe do Google (em um ano, a Vokord vencerá no mesmo concurso e a NTechLab passará para a 4ª posição). O sucesso permitiu que eles implementassem rapidamente o serviço FindFace , procurando pessoas de fotos no VKontakte. Mas essa não é a única maneira de aplicar a tecnologia. No festival Alfa Future People, organizado pelo Alfa Bank, com o FindFace, os visitantes podem encontrar suas fotos entre centenas de outras pessoas enviando uma selfie para um chatbot.

Além disso, o NTechLab mostrou um sistema capaz de reconhecer em tempo real sexo, idade e emoções usando uma imagem de uma câmera de vídeo. O sistema é capaz de avaliar a reação do público em tempo real, para que você possa determinar as emoções que os visitantes experimentam durante apresentações ou transmissões de mensagens publicitárias. Todos os projetos do NTechLab são construídos em redes neurais de auto-aprendizado.

O caminho de Ivideon para a análise de vídeo


O reconhecimento de rosto é uma das tarefas mais difíceis no campo da análise de vídeo. Por um lado, tudo parece claro e há muito tempo é utilizado. Por outro lado, as soluções de identificação em uma multidão de pessoas ainda são muito caras e não fornecem precisão absoluta.
Em 2012, Ivideon começou a trabalhar com algoritmos de análise de vídeo. Nesse ano, lançamos aplicativos para iOS e Android, entramos em mercados estrangeiros, lançamos redes CDN descentralizadas com servidores nos EUA, Holanda, Alemanha, Coréia, Rússia, Ucrânia, Cazaquistão e nos tornamos o único serviço internacional de vigilância por vídeo que funciona igualmente bem em todo o mundo. Em geral, parecia que fazer suas análises com blackjack e reconhecimento seria simples e rápido ... éramos jovens, a grama parecia mais verde e o ar doce e lânguido.

[ Naquela época, estávamos considerando algoritmos clássicos. Primeiro, você precisa detectar e localizar os rostos na imagem: use cascatas Haar , procure regiões com uma textura semelhante à pele, etc. Suponha que precisamos encontrar a primeira pessoa que aparece e acompanhá-la apenas no fluxo de vídeo. Aqui você pode usar o algoritmo Lucas-Canada . Encontramos a face pelo algoritmo e depois determinamos os pontos característicos nele. Acompanhamos os pontos usando o algoritmo Lucas-Canada; após o desaparecimento, acreditamos que o rosto desapareceu de vista. Tendo recebido os recursos característicos do rosto, podemos compará-lo com os recursos incorporados no banco de dados.

Para suavizar a trajetória do objeto (face), bem como prever sua posição no próximo quadro, usamos o filtro Kalman . Deve-se notar aqui que o filtro Kalman foi projetado para modelos de movimento linear. Para não linear, o algoritmo Particle Filter é usado (como uma variante do algoritmo Particle Filter + Mean Shift ).

Você também pode usar algoritmos de subtração em segundo plano: uma biblioteca com exemplos da implementação de algoritmos para subtrair o artigo em segundo plano + sobre a implementação do algoritmo leve para subtrair o segundo plano do ViBe. Além disso, não se esqueça de um dos métodos mais comuns de Viola-Jones implementados na biblioteca de visão computacional OpenCV. ]

O reconhecimento simples de rosto é bom, mas não o suficiente. Também é necessário garantir o rastreamento estável de vários objetos na estrutura, mesmo no caso de sua interseção articular ou "desaparecimento" temporário de um obstáculo. Conte qualquer número de objetos que cruzem uma determinada zona e leve em consideração as direções da interseção. Para saber quando um objeto / objeto no quadro aparece e desaparece - mova o mouse sobre o copo sujo sobre a mesa e encontre o momento no arquivo de vídeo em que ele apareceu lá e quem o deixou. No processo de rastreamento, um objeto pode mudar bastante fortemente (em termos de transformações). Mas de um quadro para outro, essas alterações serão tais que serão possíveis identificar o objeto.

Além disso, queríamos disponibilizar uma solução em nuvem universal para todos - dos usuários mais exigentes. A solução tinha que ser flexível e escalável, já que nós mesmos não sabíamos o que o usuário queria monitorar e o que ele queria considerar. É bem possível que alguém tenha sugerido fazer uma transmissão de barata com base em Ivideon com determinação automática do vencedor.

Apenas cinco anos depois, começamos a testar componentes individuais da análise de vídeo - falaremos mais sobre esses projetos em novos artigos.

PS Então, estamos procurando voluntários para testes de detectores de filas. Assim como usuários do sistema SHTRIH-M para testar um novo sistema de gerenciamento de caixa. Escreva no correio ou nos comentários.