Adaptación de video a una pantalla con una frecuencia de 1000 cuadros / s

El video se proyecta sobre un trozo de papel en movimiento (izquierda) y sobre la tela deformante de la camiseta.

Todos han visto un proyector digital normal que proyecta el video sobre una superficie blanca y plana, en la pantalla. Preferiblemente en la oscuridad. Los requisitos para la pantalla son muy estrictos: la belleza de la imagen depende en gran medida de su calidad. Pero imagine que el proyector puede proyectar video no solo en una superficie plana, sino en una tela de cualquier forma, ¡e incluso en movimiento ! Esta increíble tecnología fue desarrollada por el personal del laboratorio Ishikawa Watanabe de la Universidad de Tokio.



Según los ingenieros japoneses, la mejora tecnológica de los proyectores se congeló en el acto. Pero esta es una tecnología importante que se extiende, complementa el mundo real. Teóricamente, las imágenes y videos proyectados pueden ser muy útiles en diversas áreas de la realidad aumentada: desde la industria del entretenimiento hasta asistentes digitales informativos que muestran información contextual en un lugar conveniente, anteojos, casco o simplemente en una cortina en una habitación.

La mayoría de las tecnologías modernas de proyección de imágenes se limitan a superficies estáticas. Esto reduce significativamente su alcance.

Los ingenieros del laboratorio de Isikawa Watanabe decidieron eliminar esta limitación haciendo que los proyectores se adapten más al dinámico mundo circundante, en el que la realidad cambia y se transforma constantemente. En la realidad aumentada del futuro, los objetos virtuales y el mundo real se fusionarán en una sola forma orgánica, perfectamente adaptada para la visión humana. Idealmente, no debemos distinguir entre etiquetas de pintura y proyecciones digitales. En el futuro más lejano, los objetos tridimensionales dinámicos "vivos" no deberían diferir mucho de los objetos reales del mundo físico real.

¿Qué se necesita para hacer realidad esta idea? En primer lugar, se requiere un proyector de alta velocidad con una velocidad de fotogramas excepcionalmente alta por segundo y baja latencia. Con estos requisitos, se diseñó el proyector DynaFlash , que proyecta imágenes de 8 bits con una velocidad de cuadros de 1000 cuadros / sy un retraso de solo 3 milisegundos.


Proyector digital DynaFlash

Los japoneses no buscan formas fáciles. No se detuvieron para crear un proyector de alta velocidad, sino que fueron más allá y descubrieron cómo distorsionar la imagen de acuerdo con las deformaciones de la tela flexible en casi tiempo real. Por qué Por ejemplo, para que el proyector pueda proyectar videos sin distorsión en objetos en movimiento. Por ejemplo, en una camiseta de una persona en movimiento.

Como puede suponer, la proyección de alta velocidad se lleva a cabo a través de un seguimiento especial, es decir, seguimiento de superficie. Esta es también una tarea extraordinaria en el campo de la visión por computadora. La tarea de rastrear superficies arrugadas se complica por el hecho de que la superficie puede cubrirse parcialmente, sin mencionar el cierre parcial por objetos extraños.

Por supuesto, el seguimiento de la superficie debe realizarse a la misma velocidad alta que opera el proyector. Por lo tanto, la tecnología Deformable Dot Cluster Marker tiene las mismas características técnicas: 1000 cuadros / sy un retraso de 3 milisegundos.

¿Cómo rastrear la forma de la superficie con tanta precisión y velocidad? En principio, también hay pocas opciones. Los japoneses hicieron esto a través de una cuadrícula de marcadores, que se aplica al objeto. El diseño de la cuadrícula de marcadores se muestra en gráficos animados.



El seguimiento a alta velocidad ocurre en una tarea altamente paralelizada en muchos hilos independientes. Sin embargo, incluso en la CPU, se logra un rendimiento de 1000 cuadros por segundo.


Transportador de reconocimiento de cuadrícula de marcadores

Después del reconocimiento de la cuadrícula de marcadores , el programa calcula rápidamente los vectores de deformación de cuadros necesarios en el video y proyecta el resultado en tiempo real utilizando el proyector DynaFlash.


Cálculo de vectores en el programa.

En general, según la descripción, el sistema funciona de manera bastante lógica y simple. La pregunta es la implementación técnica: ¿cómo lograron optimizar esta tarea de visión artificial para un rendimiento tan alto?

La respuesta a esta pregunta se puede encontrar en el artículo " Mapeo de proyección dinámica sobre deformación de superficie no rígida utilizando marcador de clúster de punto deformable ", que los autores publicaron en las transacciones IEEE sobre visualización y gráficos por computadora (doi: 10.1109 / TVCG.2016.2592910, pdf) Describe en detalle algoritmos para calcular vectores para una cuadrícula de marcadores, actualizar las posiciones de grupos de puntos rastreados, detectar falsos positivos, interpolar grupos perdidos, etc. Los autores escriben que usaron el paquete OpenMP para paralelizar los cálculos. El reconocimiento por el programa de la red de marcadores y el seguimiento cuadro por cuadro requirieron menos de 2 ms y 1 ms, respectivamente, dependiendo de la forma de la distorsión. La tabla compara el resultado con otro sistema DRDM que los colegas presentaron en el Simposio IEEE en 2011.



Los autores están seguros de que la naturaleza orgánica de la realidad aumentada en los objetos del mundo real es una condición importante para la integridad de las impresiones de una realidad tan sintética. No debería haber una gran demora en la proyección de video y distorsión geométrica.

Los muchachos del laboratorio de Ishikawa Watanabe han sido conocidos por sus inusuales e interesantes inventos. Por ejemplo, en 2013, inventaron el proyector de alta velocidad Lumipen , que proyecta video en objetos en movimiento.



Dicha tecnología puede encontrar aplicación en juegos de realidad aumentada, donde una persona en realidad interactúa con objetos virtuales, ya sea una pokebola o una pelota de fútbol.

La proyección de la realidad virtual en objetos del mundo real se usa ampliamente en los parques de atracciones de todo el mundo. Se puede usar en interfaces de computadora, creación de prototipos, en la enseñanza con un maestro (por ejemplo, en la enseñanza de conducir un automóvil) y en muchas otras áreas.

Source: https://habr.com/ru/post/es398539/