如何从一包芯片中读取声音,或者什么是“可视麦克风”

“可视麦克风”是一种允许您从无声视频记录中恢复音频的技术。 今天,我们将不仅介绍它,还介绍其他方法和技术,使您可以远程读取和还原音乐或语音。


照片m01229 CC

技术的前身


远距离录制声音的一种方法通过激光。 所谓的激光麦克风用于读取声波引起的振动。 例如,如果人们在房间里聊天或正在播放音乐,则可以通过这种方式从窗玻璃表面“捕获”声音。 干涉仪通过改变反射光束的光路长度来检测表面的“运动”。 之后,使用特殊算法将这些偏差转换为声音信号。

网络上有录音,显示“激光麦克风”使您可以恢复音质。 然而,这种方法具有与设备安装的复杂性相关联的缺点。

您还可以使用通信中使用的低强度微波辐射 “远距离录制声音”。 NASA 使用了类似的技术来捕获和识别太空中的微弱无线电信号。

喇叭天线将微波以30-100 GHz的频率引导穿过建筑物的墙壁。 如果人们在室内说话或演奏音乐,声波可以通过微振动算作轻的物体和材料-以“捕获”的形式获取振幅调制。 然后,此信息用于重建作用在对象上的声音。 而且,此对象可以是任何衣服,因此此方法甚至可以“拦截”心跳声。

视觉麦克风-麻省理工学院科学家的解决方案


麻省理工学院的科学家提出了另一种从远处读取声音的方法。 他们证明可以恢复基于视频的声音。 为此,您需要使用照相机记录物体的视频以进行高速拍摄,并分析由声波传播引起的微观振动。

基于视频,构建了一个可控制的图像金字塔 ,它一组滤波器,可以将视频的每一帧“分解”为对应于研究对象上不同点的复杂子带。

科学家开发了一种特殊的算法( 并将其置于公共领域),该算法可以计算每个选定点处的声音振动强度。 对本地信号求平均,并在其基础上形成一个公共信号,该信号确定声波如何作用于对象。 该信号通过截止阈值为20–100 Hz的巴特沃斯高通滤波器。 这样就可以恢复录音了。

根据研究负责人安倍·戴维斯(Abe Davis)的说法,与主动方法(例如,使用激光)相比,可视麦克风使您可以接收质量较差的录音,但是它有其自身的优势。 他们的系统不需要额外的设备或任何检测器-您只需要高速摄像机。 同时,从其“读出”声音的表面不必像激光麦克风通常所要求的那样镜面或光滑。

安倍晋三的研究小组试图从纸袋,一包薯条和铝箔中读取声音。 它们很轻,因为它们上的声音振动最明显,并且产生的信号噪声也较小。 在测试对象中,还有一种室内植物和一块砖,据科学家称,它们“展示”自己的效果超出了他们的预期。

该团队制作了一个视频,其中他们展示了某些物体是如何“发出声音”的:


科学家们指出,他们计划继续朝着这个方向努力,并探索从任何视频记录中播放音频的可能性,而不仅仅是使用高速相机进行专门准备。

技术发展


其他科学家正在尝试改进麻省理工学院的研究小组提出的技术。 例如,去年,伊朗研究人员推出了一种算法, 算法可加速从“高速视频”中提取声音并提高其质量。

声音以不同的方式影响对象的不同区域。 振动强度取决于制成物品的材料,物品的形状,撞击声的频率以及与声源的距离。 例如,当以20 kHz的频率拍摄视频时,声波在两帧之间传播约17毫米。 因此,距离声源较远的物体会延迟反应。

所有这些因素导致对象的不同区域以不同的强度振动。 因此,科学家在分析摄像机图像时仅考虑那些对最终信号形成贡献最大的区域,即“噪点”最少的区域。 在这种情况下,形成它们的频率具有不同的相移,以消除衰减干扰。

伊朗研究人员指出,与原始的MIT算法相比,由于此原因,他们能够提高再现声音的质量,并加快图像处理速度。 他们说他们的系统能够实时处理图像并恢复声音。

视觉麦克风的潜力


通常,该技术仍处于试验阶段,没有完全商业化的说法。 但是她已经预示着在治安领域的潜在用途-警察将能够从闭路电视摄像机中获取更多信息。

还有其他选项:此类系统使您可以分析声音在录音棚和音乐厅中的行为,以确定其声学特性。 另一个应用是在太空工业中使用该系统来研究太空中的声音。 顺便说一句,《黑客新闻》的居民已经暗示 ,将来,“视觉麦克风”将彻底解决月球着陆的奥秘。



关于声音的更多有趣信息-在我们的“ Hi-Fi世界”中:


我们在GT上的新材料:



Source: https://habr.com/ru/post/zh-CN410627/


All Articles