Google 推出了 Resonance Audio SDK,该工具包用于游戏,360度视频,VR和AR应用程序的声音设计。
这不是该公司在该领域的第一个发展。 2016年1月,发布了带有环绕声
的 Google Cardboard SDK。 它的修订版
包含在Daydream 2.0 VR平台中,该平台目前对第三方开发人员
开放 。
一种叫做“共振音频”的新颖性结合了Google在该领域的成就,并允许您在包括移动设备在内的许多平台上实现它们。
下面我们将讨论共鸣音频的功能。
詹妮弗·博耶(Jennifer Boyer) 摄 CC BY它有什么作用
- 充分存在的影响 。 人类视觉的视角平均为160-200度,但是借助听力,一个人可以为自己形成完整的空间图像。 通过同步虚拟视觉和虚拟声音,您可以在虚拟现实中获得更大的存在感。
- 经济地使用CPU 。 Ambisonics技术在这里起作用- 中端录音的3D版本。 简而言之,它可以让您在“混合”数百种虚拟声源的过程中节省计算资源。 此外,Unity还可以根据虚拟环境的声学特性对混响效果进行初步计算。
- 跨平台 。 Resonance Audio可在Android,iOS,Windows,MacOS,Linux操作系统上运行; 在Unity和Unreal Engine引擎上; 具有FMOD音频库; Wwise软件包 数字声音工作站。 Google还提供了C / C ++,Java和Objective-C的API。
- 复杂声音媒体的形成 。 使用SDK,您可以使用许多影响声音空间感知的参数。 例如,设置声波的传播方向。 开发人员以虚拟吉他的形式引用声源的情况:如果您的游戏角色站在吉他的前面,声音会更大,而在吉他后面的声音会更安静。
此外,SDK根据环境条件(例如,在开放和受限的空间中)提供不同的声音感知。 通过使用这些功能,开发人员将能够创建更逼真的场景。
共振音频的工作原理
该技术使您可以设置声源的位置及其分布的性质,并
模拟声波与虚拟对象
的相互作用。 为此,Resonance Audio引入了特定声音效果的整体感知的三种类型的组件。
- 直达声音 -直接从源头传递到听众,而不会与障碍物互动。 与其他组件相比,它在离开光源时强度最高。
- 来自表面的主反射 -强度较低,这也取决于表面的属性。 它们使您可以评估虚拟空间的大小和形状。
- 随后出现次要反射和随后的反射 ,这些反射以增加的密度到达并叠加在直接声音上。 他们周围的环境更完整。
正如声音设计师Microsoft HoloLens
的克里斯·黑格斯特罗姆(Chris Hegstrom)所
强调的那样,人脑处理声音信息的速度比视觉处理的速度更快。 自我保护的本能教会人们确定到声源的距离,并且存在效果的形成是基于此原理的,音频成分对此负有主要责任:
存在的效果是“哇,这个游戏有一个很酷的大虫子动画”和“该死,一个大虫子飞过我!”之间的区别。
使用Resonance Audio(
视频 )的功能,沉浸在虚拟世界中的人可以形成他所处空间的一种“地图”。 一个人只能通过听觉来确定他看不见的物体的大概位置。
你还需要知道什么
实验证实了从事环绕声技术的重要性,其中一项实验是由G'Audio Lab
进行的。 人们获得了游戏的两个演示-一个具有环绕声,另一个具有普通声。 在游戏过程完成后,受访者公开表示,他们甚至没有想到声音可以对游戏过程的感觉产生如此大的影响。
杜比(Dolby)虚拟现实和增强现实部门的负责人乔尔·苏萨尔(Joel Susal)
回忆说 ,逼真的声音效果(如门尖尖吱吱作响的声音或逼近台阶的声音)使我们本能地转动头以查看声音的来源并理解所有东西-所以发生。 环绕声技术将丰富VR游戏的玩法,并扩大与游戏环境的互动范围。
在音乐会和体育比赛的实况VR直播期间,不仅可以在游戏和电影中使用环绕声,而且还可以在
音乐视频中使用环绕声,因此,在家中的人会感到自己是事件的一部分。 环绕声将帮助您感觉甚至在现实世界中也不容易感觉到的东西-例如,不仅去看音乐会,而且要在舞台上紧挨着您最喜欢的艺术家。
来自“ Hi-Fi世界”的其他资料: