使视频适应频率为1000帧/秒的屏幕

视频被投影到移动的纸上（左图）和T恤的变形织物上，

每个人都看过一台普通的数字投影仪，可以将视频投影在屏幕上平坦的白色表面上。最好在黑暗中。屏幕的要求非常严格：图片的优美程度很大程度上取决于其质量。但是，请想象一下，投影机不仅可以在平面上投影视频，而且可以在任何形状的织物上投影甚至移动一个视频！这项令人难以置信的技术是东京大学石川渡边的实验室工作人员开发的。



据日本工程师称，这些投影机的技术进步被当场冻结。但这是扩展，补充现实世界的一项重要技术。从理论上讲，投影的图片和视频在增强现实的各个领域中都非常有用：从娱乐行业到信息数字助理，这些数字助理在方便的地方，戴眼镜，戴头盔或仅在房间的窗帘上显示上下文信息。

大多数现代图像投影技术仅限于静态表面。这大大缩小了它们的范围。

Isikawa Watanabe实验室的工程师决定通过使投影机更适应动态的周围世界来消除此限制，在现实世界中，不断变化的形状和变化在不断变化。在未来的增强现实中，虚拟对象和现实世界将融合为一个有机形式，完全适合人类的视觉。理想情况下，我们不应区分油漆标签和数字投影。在更遥远的未来，三维动态“生命”物体应该与现实世界的真实物体没有太大区别。

要实现这个想法需要什么？首先，需要具有每秒高帧频和低延迟的高速投影仪。正是出于这些要求，设计了DynaFlash投影仪，该投影仪以1000帧/秒的帧速率和仅3毫秒的延迟来投影8位图像。


DynaFlash数字投影仪

日本人并不在寻找简单的方法。他们并没有停止制造高速投影仪，而是走了一步，并想出了如何使其几乎实时地根据柔性织物的变形使图像变形的方法。怎么了例如，使投影机可以将不失真的视频投影到移动的物体上。例如，在运动中的人的T恤上。

您可能会猜到，高速投影是通过特殊的跟踪进行的，即表面跟踪。这也是计算机视觉领域的一项非凡任务。由于表面可以部分覆盖自身，更不用说被异物部分封闭，因此跟踪皱纹表面的任务变得很复杂。

当然，表面跟踪应以与投影机运行相同的高速进行。因此，可变形点簇标记技术具有相同的技术特征：1000帧/秒和3毫秒的延迟。

如何以这种精度和速度跟踪表面形状？原则上，也没有什么选择。日本人通过将标记网格应用于对象来完成此操作。标记网格设计以动画图形显示。



高速跟踪发生在许多独立线程中的高度并行的任务上。但是，即使在CPU上，也可以实现每秒1000帧的性能。


标记网格识别传送带标记网格

识别后，程序会快速计算视频中必要的帧变形矢量，并使用DynaFlash投影仪实时投影结果。


程序中向量的计算

通常，根据描述，该系统在逻辑上和简单地工作。问题是技术实施-他们如何设法优化机器视觉任务以实现如此高性能？

这个问题的答案可以在文章“ 使用可变形的点簇标记在变形的非刚性表面上动态投影映射 ”中找到，作者发表在IEEE Transactions on Visualization and Computer Graphics（doi：10.1109 / TVCG.2016.2592910，pdf）它详细描述了用于计算标记网格的矢量，更新跟踪的点簇的位置，检测假阳性，对丢失的簇进行插值等算法。作者写道，他们使用OpenMP软件包来并行化计算。通过程序识别标记网络和逐帧跟踪分别需要不到2 ms和1 ms，具体取决于失真的形状。该表将结果与同事在2011年IEEE研讨会上介绍的另一个DRDM系统进行了比较。



作者确信，增强现实在现实世界对象上的有机性质是这种合成现实印象完整的重要条件。投影视频和几何失真时不应出现高延迟。

石川渡边实验室的研究人员长期以来以其非同寻常和有趣的发明而闻名。例如，2013年，他们发明了Lumipen高速投影仪，该投影仪将视频投影到移动的物体上。



这种技术可以在增强现实游戏中找到应用，其中现实中的人与虚拟物体（无论是virtual球还是足球）进行交互。

将虚拟现实投影到现实世界的对象已在全世界的游乐园中广泛使用。它可以用于计算机界面，原型设计，与老师的教学（例如，在汽车驾驶教学中）和许多其他领域。

Source: https://habr.com/ru/post/zh-CN398539/