环绕音乐:VR技术如何传输声音



大卫·史蒂芬 / CC

3D和VR技术拍摄的照片涉及越来越多的领域。最受欢迎的是计算机游戏和电影业。一个最近的一篇文章中,我们谈到了虚拟现实技术在行业的可能性,以及谈论的3D音效和其发展前景。

在本文中,您将了解VR中声音和音乐播放的功能,音频专业人员面临的问题以及如何解决它们。

“您意识到的是真实的”


有两种使用VR​​技术传输信息的方式。在第一种情况下,开发人员寻求尽可能逼真地再现图片。第二种是产生一个完全不同的世界和氛围,创造一种幻觉,将发生的一切逻辑地联系在一起。

使用第二种方法,一切都很简单:如果情况,角色及其行为不真实,那么这个世界的规律就与现实不同。重建真实的东西要困难得多。困难在于,在某些游戏或视频中,有些奇怪的时刻将人的大脑从这种幻想中“拉出来”。

游戏开发人员和动画师都熟悉这一假设,即所谓的奇异谷效应。该假设的实质是,一个看起来或行为几乎像一个人,但与他仍然略有不同的角色会导致我们恐惧或不喜欢。VR中的声音也会发生类似的情况。

与视觉感知相比,确定哪个物体在我们面前要困难得多。仅当对象发出声音时,您才能找到它的近似大小和相对距离。由于我们拥有丰富的感知世界的“听觉”体验,因此在虚拟现实中,大脑会将新信息与我们实际发生的事情进行比较。

在这种情况下,人的声音对我们来说是最“熟悉”的因素:因此,它在游戏的声音设计中的存在显着促进了我们在虚拟现实中的“听觉浸入”。但是声音,就像人形角色一样,受到“险恶山谷”的影响。例如,声音压缩过高会导致我们的意识“不信任”。

下面的视频有助于了解我们的大脑的能力。大脑仅从音频信号接收有关对象运动的所有信息。建议您闭上眼睛收听此视频以及以下视频。



该视频中的声音是使用双耳录制方法创建:它是通过两个麦克风进行的,最终片段必须在耳机上听到。

除了麦克风的特殊布置外,录音中还包括模仿真实头部的人体模型或所谓的杰克林圆盘(下图)。不要混淆“双耳”和“立体声”的概念。传统的立体声录音没有考虑到耳朵之间的距离以及来自头部和耳廓的声音反射,这是影响声音传播的因素。



杰克林的磁盘 / CC

不幸的是,在现代虚拟现实头盔中,没有考虑这些条件。此外,Project Morpheus和HTC Vive等公司提供不带耳机的VR头戴设备,邀请客户使用他们的技术。 Oculus Rift带有品牌耳机,但是在这里应该用“更高质量”的型号代替。

具有环绕声7.1技术的耳机在游戏玩家中非常受欢迎。Kotaku游戏社区网站对最佳游戏耳机进行了投票。最受欢迎的型号是支持该技术的Astro A50和Logitech G930无线耳机。换句话说,社区本身已经确定“高质量”意味着环绕效果。

因此,双耳声音不同于立体声。立体声(2.0)与环绕声(7.1)有所不同:如果双耳和立体声听起来需要特殊的录音方法,为了获得空间声音效果,您需要通过大量声源播放声音。由于扬声器的数量,会产生沉浸感。

但是,对于VR来说,重要的不是沉浸感,而是“逼真的”声音。如果通过7.1耳机处理双耳录音,则最终录音不太可能满足听众的期望。这意味着标准方法无法解决此问题。

最主要的是现实主义。




照片pixabay / CC

为了达到逼真的声音,你需要考虑到空间物体的位置,以及监测与交互传输头(HRTF)的功能。

在VR中,用户可以四处移动并向任意方向移动头部。因此,如果头部,或更确切地说是耳朵,改变其位置,则输入的声音信号也必须改变。双耳录音可以增强沉浸在虚拟现实中的效果,强调事件的深度。

除了我们习惯于听到的声音(即所谓的“坏死性声音”)外,还有非糖尿病性声音:我们在日常生活中不会听到它们,但是它们可以成为计算机游戏或电影的一部分。例如背景音乐或旁白。

在计算机游戏中,我们对声音和音乐的来源不感兴趣。另一件事是虚拟现实。为了使非糖尿病声音适合虚拟世界,必须使用连接对象。例如,如果叙述者在广播中或在电话接收器中讲话,则看起来是合乎逻辑的。

至于音乐,这里还会出现其他问题。当然,可以将其绑定到收音机,以便清楚地知道声音来自何处。但是,这还不够:来自它的音乐听起来会不均匀。

一种可能的解决方案是将动态压缩与低频放大功能结合使用,从而引起“接近效应”。在下面的视频中,Alexander J Turner对此现象进行了详细分析。它与麦克风的设备密切相关:扬声器越靠近麦克风,低频越亮,声音就会更加饱和。



游戏通常使用在工作室或其他声学空间中录制的作品。由于乐器的声音与房间中的声音反射混合在一起,因此这些空间传达了声音的生动感。因此,在音乐学院的一场音乐会上,不会感觉到音乐在挤压或侵占个人空间。相反,我们感到她与我们相距遥远。

但是,VR不会使用“过于生动”的录音:收听者不会理解声音的来源。解决此问题的另一种方法是在中性环境中录制音乐,然后进行处理,以免打扰有机声音。也许还应该放弃立体声并将所有内容都缩小为更集中的声音。您可以对其进行一点压缩,然后将均衡器设置应用于它。然后,音乐听起来好像不是在“某处”播放,而是在“我们的脑海”播放。

现实主义的效果也可以通过对周围情况的不加干扰的强调来实现。例如,在下一个视频中,您可以感受到视觉和声音的紧张感。值得注意的是,在此录音中,糖尿病声音的效果比非糖尿病声音更强,并且在设置上比声音更受重视。



相同方法的另一个示例。仅有几声声音就能营造出浓烈的气氛。



因此,校准得过于干净和准确的声音似乎是人为的。同时,即使它是“肮脏的”,但在附加的声音效果或动态环境的帮助下,它仍可以创建逼真的画面,聆听体验将更加强大。

换句话说,不要努力使声音完美。必须使其尽可能逼真,以使听众可以感受到作品创作者所构想的情感。

我们一直在不断更新,只是研究有关声音的有趣材料。最近,我们从以下链接开始准备主题摘要,有关该主题的几个示例和其他材料:

Source: https://habr.com/ru/post/zh-CN397147/


All Articles