Adaptation de la vidéo à un écran avec une fréquence de 1000 images / s

La vidéo est projetée sur une feuille de papier en mouvement (à gauche) et sur le tissu déformant du T-shirt.

Tout le monde a vu un projecteur numérique régulier qui projette la vidéo sur une surface plate et blanche - sur l'écran. De préférence dans l'obscurité. Les exigences pour l'écran sont très strictes: la beauté de l'image dépend en grande partie de sa qualité. Mais imaginez que le projecteur puisse projeter de la vidéo non seulement sur une surface plane, mais sur un tissu de toute forme, et même en mouvement ! Cette technologie incroyable a été développée par le personnel du laboratoire Ishikawa Watanabe de l'Université de Tokyo.



Selon des ingénieurs japonais, l'amélioration technologique des projecteurs s'est figée sur place. Mais c'est une technologie importante qui s'étend, complète le monde réel. Théoriquement, les images et vidéos projetées peuvent être très utiles dans divers domaines de la réalité augmentée: de l'industrie du divertissement aux assistants numériques d'information qui affichent des informations contextuelles dans un endroit pratique, sur le verre de lunettes, un casque ou simplement sur un rideau dans la pièce.

La plupart des technologies modernes de projection d'images sont limitées aux surfaces statiques. Cela réduit considérablement leur portée.

Les ingénieurs du laboratoire d'Isikawa Watanabe ont décidé de supprimer cette limitation en rendant les projecteurs plus adaptés au monde environnant dynamique, dans lequel la réalité change constamment de forme et de transformation. Dans la réalité augmentée du futur, les objets virtuels et le monde réel vont fusionner en une seule forme organique, parfaitement adaptée à la vision humaine. Idéalement, nous ne devrions pas faire de distinction entre les étiquettes de peinture et les projections numériques. Dans un avenir plus lointain, les objets «vivants» dynamiques tridimensionnels ne devraient pas différer beaucoup des objets réels du monde physique réel.

De quoi a-t-on besoin pour donner vie à cette idée? Tout d'abord, un projecteur haute vitesse avec une fréquence d'images par seconde exceptionnellement élevée et une faible latence est requis. C'est avec ces exigences que le projecteur DynaFlash a été conçu , qui projette des images 8 bits avec une fréquence d'images de 1000 images / s et un retard de seulement 3 millisecondes.


Projecteur numérique DynaFlash

Les Japonais ne recherchent pas des moyens simples. Ils ne se sont pas arrêtés à la création d'un projecteur haute vitesse, mais sont allés plus loin - et ont compris comment le faire déformer l'image en fonction des déformations du tissu souple en temps quasi réel. Pourquoi? Par exemple, pour que le projecteur puisse projeter des vidéos sans distorsion sur des objets en mouvement. Par exemple, sur un T-shirt d'une personne en mouvement.

Comme vous pouvez le deviner, la projection à grande vitesse est effectuée via un suivi spécial, c'est-à-dire un suivi de surface. Il s'agit également d'une tâche extraordinaire dans le domaine de la vision par ordinateur. La tâche de suivre les surfaces froissées est compliquée par le fait que la surface peut se couvrir partiellement, sans parler de la fermeture partielle par des corps étrangers.

Bien sûr, le suivi de la surface doit avoir lieu à la même vitesse élevée que celle du projecteur. La technologie Deformable Dot Cluster Marker a donc les mêmes caractéristiques techniques: 1000 images / s et un retard de 3 millisecondes.

Comment suivre la forme de la surface avec une telle précision et une telle vitesse? En principe, il existe également peu d'options. Les Japonais l'ont fait à travers une grille de marqueurs, qui est appliquée à l'objet. La conception de la grille des marqueurs est représentée dans des graphiques animés.



Le suivi à grande vitesse se produit sur une tâche hautement parallélisée dans de nombreux threads indépendants. Cependant, même sur le CPU, une performance de 1000 images par seconde est atteinte.


Convoyeur de reconnaissance de grille de marqueur

Après la reconnaissance de grille de marqueur , le programme calcule rapidement les vecteurs de déformation de trame nécessaires dans la vidéo et projette le résultat en temps réel à l'aide du projecteur DynaFlash.


Calcul des vecteurs dans le programme

En général, selon la description, le système fonctionne de manière assez logique et simple. La question est la mise en œuvre technique - comment ont-ils réussi à optimiser cette tâche de vision industrielle pour des performances aussi élevées?

La réponse à cette question se trouve dans l'article " Dynamic Projection Mapping on Deforming Non-rigid Surface using Deformable Dot Cluster Marker ", que les auteurs ont publié dans IEEE Transactions on Visualization and Computer Graphics (doi: 10.1109 / TVCG.2016.2592910, pdf) Il décrit en détail les algorithmes de calcul des vecteurs pour une grille de marqueurs, de mise à jour des positions des clusters de points suivis, de détection des faux positifs, d'interpolation des clusters perdus, etc. Les auteurs écrivent qu'ils ont utilisé le package OpenMP pour paralléliser les calculs. La reconnaissance par le programme du réseau de marqueurs et le suivi trame par trame ont nécessité respectivement moins de 2 ms et 1 ms, selon la forme de la distorsion. Le tableau compare le résultat avec un autre système DRDM que des collègues ont présenté au Symposium IEEE en 2011.



Les auteurs sont convaincus que la nature organique de la réalité augmentée sur des objets du monde réel est une condition importante pour l'intégrité des impressions de ce type de réalité synthétique. Il ne devrait pas y avoir de retard important dans la projection de vidéo et de distorsion géométrique.

Les gars du laboratoire d'Ishikawa Watanabe sont connus depuis longtemps pour leurs inventions inhabituelles et intéressantes. Par exemple, en 2013, ils ont inventé le projecteur haute vitesse Lumipen , qui projette la vidéo sur des objets en mouvement.



Une telle technologie peut trouver une application dans les jeux de réalité augmentée, où une personne interagit en réalité avec des objets virtuels, que ce soit un pokeball ou un ballon de football.

La projection de la réalité virtuelle sur des objets du monde réel est largement utilisée dans les parcs d'attractions du monde entier. Il peut être utilisé dans les interfaces informatiques, le prototypage, l'enseignement avec un enseignant (par exemple, l'enseignement de la conduite d'une voiture) et de nombreux autres domaines.

Source: https://habr.com/ru/post/fr398539/