在左侧，两个人握手，其中一个在摄像机的墙后。 在右侧，一个黑暗中的人向被呼叫者扔东西。 以下是生成的骨骼模型和动作预测。CSAIL（计算机科学和人工智能实验室）团队的无线电视觉已经在哈布雷（Habré）上编写过（ 一 两次 ），今天有一些新鲜的细节。
该算法使用无线电波而不是可见光来确定人们在做什么而不显示其外观。
机器视觉有着令人印象深刻的记录。 它具有超人的能力来识别人，脸和物体。 它甚至可以识别各种动作，尽管不如人类。
但是它的性能是有限的。 当人，脸或物体部分闭合时，机器视觉尤其困难。 当光线水平下降到0时，它们就像人一样几乎是盲人。
但是电磁频谱的另一部分并不仅限于此。 不论是白天还是黑夜，无线电波都充满了我们的世界。 它们很容易穿过墙壁，被人体传播和反射。 实际上，研究人员已经开发出各种方法来使用Wi-Fi无线电信号在关门的背后看。
但是这些无线电视觉系统有一些缺点。 它们的分辨率低，图像嘈杂，并充满分散的反射，这使得难以理解正在发生的事情。
从这个意义上说，无线电图像和可见光图像具有其附加的优点和缺点。 并且这增加了利用一种优势来克服另一种缺点的可能性。
认识MIT的Li Tianhong Li和他的同事，他们发现了一种方法，可以通过使用可见光中的图像来教授无线电系统，从而认识人们的行为。 新的无线电视觉系统使您可以查看人们在各种情况下在可见光下无法进行可视化显示的情况。 Lee和Co.说：
“我们正在引入一种神经网络模型，该模型可以检测墙壁和遮挡物以及光线不足的情况下的人类行为 。”
射频热图和RGB图像并行记录。团队使用了一个棘手的把戏。 主要思想是使用可见光和无线电波记录同一场景的视频图像。 机器视觉系统已经能够识别可见光图像中的人类动作。 因此，下一步是将这些图像与同一场景的放射线图像相关联。
射频动作架构。 RF-Action通过无线信号识别人类活动。 从无线信号的原始流（黄色框）中检索每个人的“ 3D骨架”。 然后，检测并识别出从提取的“骨骼”（绿色区域）序列中提取的动作。 动作检测框架还可以接受从视觉数据生成的三维骨骼作为输入（一个蓝色矩形），这使您可以训练由无线电频率生成的骨骼，以及具有公认动作的现有数据库。但是，困难在于确保学习过程专注于人类运动，而不是其他事物，例如背景。 因此，Lee和团队引入了一个中间阶段，在该阶段中，机器将生成人物的3D模型，以再现人的行为。
“通过将数据转换为基于骨架的中间表示，我们的模型可以从视觉和射频数据集中学习，并允许这两项任务互相帮助 ，” Lee和团队说。
因此，系统学会识别可见光中的动作，然后使用无线电波识别在黑暗中或墙后出现的相同动作。 研究人员说：“我们证明，该模型可实现与基于可见场景中基于视觉的视觉识别系统相媲美的准确性，并且在看不见人的情况下仍可继续正常工作。”
这是一项很有潜力的有趣工作。 显而易见的应用是在无法在可见光下成像的情况下-在弱光条件下和关门后。
但是还有其他情况。 可见图像的问题之一是人们是可识别的，这会导致隐私问题。
但是无线电系统不具有识别面部的能力。 没有面部识别的动作识别不会引起对机密性的相同关注。 Lee and Co.说：
“它可以将技术带入人们的家中，并将其集成到智能家居系统中 。” 例如，它可用于监视老人的房屋并在跌倒时通知相关服务。 这样就不会对隐私造成太大威胁。
这超出了基于现代视觉系统的功能。
结果
在各种情况下工作的结果。 可见场景：
视场的部分或完全重叠和光线不足。 骨骼以生成的3D模型的二维投影形式显示：
关于ITELMA我们是一家大型
汽车零部件公司。 该公司拥有约2500名员工，其中包括650名工程师。
我们也许是俄罗斯汽车电子发展最强大的能力中心。 现在，我们正在积极发展，我们开设了许多职位空缺（包括该地区的大约30个职位），例如软件工程师，设计工程师，首席开发工程师（DSP程序员）等。
汽车制造商面临许多有趣的挑战，并推动行业发展。 如果您想成长为专家并向最好的人学习，我们将很高兴见到您加入我们的团队。 我们也准备分享专业知识，这是汽车领域最重要的事情。 问我们任何问题，我们将回答，我们将进行讨论。
阅读更多有用的文章：