“险恶的山谷”在虚拟现实的声音表演中的作用

在游戏行业工作的许多艺术家都熟悉“险恶的山谷”效应，但是声音工程师和作曲家通常不会遇到这个问题。但是，鉴于虚拟现实的飞速发展，情况可能会发生巨大变化。在本文中，我们将讨论这种效果如何影响音频专业人员。但是首先，让我们找出什么是“险恶的山谷”？


为了演示“险恶山谷”的影响，最常用此图表。这个想法是这样的：无生命的物体（例如机器人）越像人，看起来就越漂亮。但是，这种影响只会增长到一定程度：当达到最大现实主义程度时，同情会被厌恶甚至恐惧所取代。换句话说，由于现实的一点点不一致，您的角色变成了怪物。 “额外积分”系列视频中更详细地介绍了“险恶山谷”的影响：



因此，我们发现了艺术家所说的“险恶山谷”的含义，但这与音频有什么关系？

“环绕声-模仿现实还是幻想？”

音频领域中的“险恶山谷”概念最早是由弗朗西斯·拉姆西（Francis Ramsey）在他的报告“环绕声-模仿现实还是幻觉？”中首次提出的。于2014年5月在伊利诺伊州Niles的Shure Incorporated总部的音频工程学会芝加哥分会的会议上。弗朗西斯·拉姆齐（Francis Ramsey）在萨里大学获得音频博士学位，目前是AES技术委员会主席。

弗朗西斯·拉姆西（Francis Ramsey）在一个半小时的精彩演讲中（AES成员可以在这里查看完整的录音），讨论了环绕声的演变以及为实现自然声学空间的完美模拟所做的许多尝试。他还考虑了解决该问题的各种方法：从美学的角度，从数学的角度，通过创建用于合成波场的理想技术。在此过程中，他提出了一个问题：环绕声的目的是什么-是最接近现实的方法还是可能的幻象的创建？这将我们引向报告的重点。

虚拟现实中的声音设计：“几乎”不算

拉姆齐（Ramsey）声称，环绕声在达到最大真实感时开始刺激越来越多的大脑区域。为什么会这样呢？事实是，听力非常喜欢声音的“自然性”。我们非常了解声音在环境中的传播方式。我们知道它是如何反射，混响以及各种对象如何淹没声音或改变其音色的。当虚拟声学环境达到空间现实主义和音色匹配的顶峰时，我们的大脑开始将这种模型与记忆中捕获的真实环境进行比较。而且，即使乍一看模拟效果完美无瑕，丝毫的瑕疵也会对我们造成负面影响。您认为：“声音几乎像真实声音，但有问题。” “有些事困扰着我。”

作为示例，让我们观看Oculus虚拟现实视频，该视频演示GenAudio AstoundSound 3D RTI环绕声插件的操作。尽管音频的定位确实令人印象深刻，但在该插件的演示版本中，完全没有阻塞和声音吸收效果（创建者不会隐藏这些效果）。因此，您可以亲眼看到这些差异在真实的声学环境中给人的印象。当玩家进入房屋时，尤其是观察到的声音很好，并且院子里喷泉的杂音保持不变，尽管声音本来应该更加沉闷。



虚拟现实的画外音：3D语音的“险恶谷”

Ramsey在报告中引用了杜比实验室数字融合技术架构师Glenn Dickins的研究结果。迪金斯探讨了与声音表演有关的“险恶山谷”理论。人的言语与人的外表和动作一样植根于我们的意识中，因此我们可以在三维空间中轻松地感知它。因此，以3D方式表演的声音更有可能掉入“险恶的山谷”。声音与空间条件排列的最小偏差会导致听众感到极度不适。

当涉及虚拟现实时，在传统视频游戏开发中使用的音频压缩技术的相关性值得怀疑。对于配音尤其如此。任何游戏者都可以注意到角色的声音听起来很奇怪，甚至不知道其原因是压缩了录音。压缩过程将语音的声音改变为最小，但是在虚拟现实中，它的听觉非常清晰。丝毫的计算错误-音频位于“险恶的山谷”的边缘。

虚拟现实中的电影配乐：乐观的预测

在我的博客中，我已经讨论了音乐在虚拟现实的三维声学空间中扮演什么角色。但是弗朗西斯·拉姆齐对此持完全相反的意见。据他说，环绕声对观众来说一点都不重要。游戏行业的作曲家可以松一口气，因为这意味着音轨不会处于“险恶谷”效应的危险中。

拉姆齐在谈到一项关于缺乏经验和经验的听众如何感知环绕声的研究结果时指出，将音乐放在太空中并不是那么重要。所有调查参与者都同意，音质是音轨的决定性因素，但音量不会以任何方式影响音轨。这是否意味着听众愿意自愿相信这种幻觉，而不管其是否符合虚拟现实规则？如果是这样，则声音工程师可以安全地牺牲屏幕外音乐（即，其来源不属于虚拟世界的音乐）的位置，从而有利于配音和声音设计元素。同时，与以前一样，配乐将有助于情感投入和沉浸在游戏世界中。然而，在其他情况下（例如，在电影中），听众可能会感觉到音量不同。无论如何，配音音乐在虚拟现实中的作用需要更详细的研究。

对于其他类型的音乐，情况要简单得多。毕竟，配乐并不总是履行其在游戏中营造氛围的通常作用。例如，在虚拟现实的音乐可视化器中，绝对不需要在空间中放置音频，因为它已经在前台了（就像您只是在听音乐一样）。您可以通过观看诸如Rock Band和Dance Central之类著名系列的开发人员的Harmonix Music VR音乐可视化器的预览来自己验证这一点：



结论

在报告的结论中，弗朗西斯·拉姆齐（Francis Ramsey）得出结论：在几乎所有与虚拟现实的语音行为有关的事情中，都没有考虑“几乎”。换句话说，真正逼真的声音应该真正无瑕。否则，最好专注于风格化的音频，故意扭曲和夸大真实声音的各个方面，而不是尝试重新创建其精确副本。

Source: https://habr.com/ru/post/zh-CN385003/