Adaptação de vídeo a uma tela com uma frequência de 1000 quadros / s

O vídeo é projetado em um pedaço de papel móvel (esquerda) e no tecido deformado da camiseta.

Todo mundo já viu um projetor digital comum que projeta vídeo em uma superfície plana e branca - na tela. De preferência no escuro. Os requisitos para a tela são muito rígidos: a beleza da imagem depende em grande parte de sua qualidade. Mas imagine que o projetor possa projetar vídeo não apenas em uma superfície plana, mas em tecido de qualquer forma e até mesmo em movimento ! Essa incrível tecnologia foi desenvolvida pela equipe do laboratório Ishikawa Watanabe da Universidade de Tóquio.



Segundo os engenheiros japoneses, a melhoria tecnológica dos projetores congelou no local. Mas esta é uma tecnologia importante que se estende, complementa o mundo real. Teoricamente, fotos e vídeos projetados podem ser muito úteis em várias áreas da realidade aumentada: da indústria do entretenimento a assistentes digitais informativos que exibem informações contextuais em um local conveniente, em óculos, capacete ou simplesmente em uma cortina de uma sala.

A maioria das modernas tecnologias de projeção de imagem é limitada a superfícies estáticas. Isso reduz significativamente seu escopo.

Os engenheiros do laboratório de Isikawa Watanabe decidiram remover essa limitação, tornando os projetores mais adaptados ao mundo dinâmico, em que a realidade muda constantemente de forma e transformação. Na realidade aumentada do futuro, os objetos virtuais e o mundo real se fundirão em uma única forma orgânica, perfeitamente adaptada à visão humana. Idealmente, não devemos distinguir entre etiquetas de tinta e projeções digitais. Num futuro mais distante, os objetos dinâmicos tridimensionais "vivos" não devem diferir muito dos objetos reais do mundo físico real.

O que é necessário para dar vida a essa idéia? Antes de tudo, é necessário um projetor de alta velocidade com uma taxa de quadros excepcionalmente alta por segundo e baixa latência. Foi com esses requisitos que o projetor DynaFlash foi projetado , que projeta imagens de 8 bits com uma taxa de quadros de 1000 quadros / se um atraso de apenas 3 milissegundos.


Projetor digital DynaFlash

Os japoneses não estão procurando maneiras fáceis. Eles não pararam de criar um projetor de alta velocidade, mas foram além e descobriram como fazê-lo distorcer a imagem de acordo com as deformações do tecido flexível em tempo quase real. Porque Por exemplo, para que o projetor possa projetar vídeos sem distorção em objetos em movimento. Por exemplo, em uma camiseta de uma pessoa em movimento.

Como você pode imaginar, a projeção em alta velocidade é realizada através de um rastreamento especial, ou seja, rastreamento de superfície. Essa também é uma tarefa extraordinária no campo da visão computacional. A tarefa de rastrear superfícies amassadas é complicada pelo fato de a superfície poder se cobrir parcialmente, sem mencionar o fechamento parcial por objetos estranhos.

Obviamente, o rastreamento da superfície deve ocorrer na mesma alta velocidade que o projetor opera. Portanto, a tecnologia Deformable Dot Cluster Marker possui as mesmas características técnicas: 1000 quadros / se um atraso de 3 milissegundos.

Como rastrear a forma da superfície com tanta precisão e velocidade? Em princípio, também existem poucas opções. Os japoneses fizeram isso através de uma grade de marcador, que é aplicada ao objeto. O design da grade de marcadores é mostrado em gráficos animados.



O rastreamento em alta velocidade ocorre em uma tarefa altamente paralelizada em muitos encadeamentos independentes. No entanto, mesmo na CPU, é alcançado um desempenho de 1000 quadros por segundo.


Transportador de reconhecimento de grade de marcadores

Após o reconhecimento da grade de marcadores , o programa calcula rapidamente os vetores de deformação de quadros necessários no vídeo e projeta o resultado em tempo real usando o projetor DynaFlash.


Cálculo de vetores no programa

Em geral, de acordo com a descrição, o sistema funciona de maneira lógica e simples. A questão é a implementação técnica - como eles conseguiram otimizar essa tarefa de visão de máquina para obter um desempenho tão alto?

A resposta a esta pergunta pode ser encontrada no artigo " Mapeamento dinâmico de projeção em superfícies não rígidas deformadas usando marcador de cluster deformável deformado ", publicado pelos autores no IEEE Transactions on Visualization and Computer Graphics (doi: 10.1109 / TVCG.2016.2592910, pdf) Ele descreve detalhadamente algoritmos para calcular vetores para uma grade de marcadores, atualizar as posições de agrupamentos de pontos rastreados, detectar falsos positivos, interpolar agrupamentos perdidos etc. Os autores escrevem que usaram o pacote OpenMP para paralelizar os cálculos. O reconhecimento pelo programa da rede de marcadores e o rastreamento quadro a quadro exigiram menos de 2 ms e 1 ms, respectivamente, dependendo da forma da distorção. A tabela compara o resultado com outro sistema DRDM que os colegas apresentaram no Simpósio do IEEE em 2011.



Os autores têm certeza de que a natureza orgânica da realidade aumentada em objetos do mundo real é uma condição importante para a integridade das impressões desse tipo de realidade sintética. Não deve haver um grande atraso na projeção de vídeo e distorção geométrica.

Os caras do laboratório de Ishikawa Watanabe são conhecidos por suas invenções incomuns e interessantes. Por exemplo, em 2013, eles inventaram o projetor de alta velocidade Lumipen , que projeta vídeo em objetos em movimento.



Essa tecnologia pode ser aplicada em jogos de realidade aumentada, onde uma pessoa na realidade interage com objetos virtuais, seja uma bola de pokémon ou uma bola de futebol.

Projetar realidade virtual em objetos do mundo real é amplamente usado em parques de diversões ao redor do mundo. Pode ser usado em interfaces de computador, prototipagem, no ensino com um professor (por exemplo, no ensino de dirigir um carro) e em muitas outras áreas.

Source: https://habr.com/ru/post/pt398539/