从声效、音乐、氛围、对话谈VR体验的音频设计经验与教训
文章相关引用及参考：gamasutra
本文来自Construct Studio音频总监张宥程
（映维网 2018年10月26日）《The Price of Freedom》是一款备受欢迎的免费VR游戏，在Steam平台上的300+评测中取得了“好评如潮”的成绩。日前，开发商Construct Studio的音频总监张宥程向我们分享了交互式VR体验的音频设计经验与教训。以下是映维网的具体整理：
在一系列形式的故事叙述中，音频都十分重要。乔治·卢卡斯曾经说过，“声音只是体验的一半”。这样的说法对虚拟现实而言更是如此，因为VR中的声音可以直接影响体验的沉浸感。例如，我们在VR中拾取一个瓶子并将其扔到地上，如果这时没有声音出现，或者声音不符合我们的预期，我们的潜意识就会立即告诉我们这里的事情不对劲。我们必须确保音频体验足够直观，否则虚拟现实的真实感就会被打破。如果没有合适的音频设计，叙事体验将失去其魅力，而世界也不会那么令人信服。
在帮助开发《The Price of Freedom》的交互式叙事体验时，我提出了一些什么是可行，什么又是不可行的想法。请将本文当作是《The Price of Freedom》的事后分析，而我希望与你分享我所学习到的一些教训。
《The Price of Freedom》是一个基于Project MK Ultra事件解密的交互式VR故事。美国中央情报局从20世纪50年代至70年代实施了这个备受争议的项目：Project MK Ultra。其中他们试验了多种人类思想控制方法，包括使用LSD来进行洗脑。在这个故事中，你会扮演一名中央情报局特工，并接受了杀死本·米勒的任务，理由是这位激进分子闯入中情局设施并偷走了绝密的化学武器研究。通过在环境中进行探索，玩家将发现他们任务的真正目的，以及他们的真实身份。
交互式体验的音频设计可分为四个元素：声音效果，音乐，氛围和对话。但是，我们应该优先处理哪些元素呢？对于VR，我们又应该如何设置它们呢？
1. 碰撞和交互音效的重要性
在制作的早期阶段将碰撞和交互音效集成至体验中是一个好主意。这不仅可以帮助设计者或开发者更具体地了解他们设计的虚拟世界，还可以帮助音频专业人员感受在声音VR环境中的播放效果，从而尽早发现问题并进行修复。
首先，在开发《The Price of Freedom》的原型时，场景中的每个对象都只有一个碰撞声音片段。下面是其中一个例子：
为了让我们感到舒适，声音体验需要更多变化才能接近于现实。缺乏多样性打破了沉浸感，因为我们发现它并不自然。以下是解决方案：
在Construct Studio，我们设计了一个包含两个功能的音效系统。首先，我们创建了一个包含常见材料的声音文件夹列表，如木材，金属，纸张，石头等。接下来，我们根据它们的特征分配给每个对象；第二，系统接收每次碰撞时的强度信息，然后将它们分成三组：轻，中和重。每组都有一个声音片段列表。每当声音被触发时，它们就会随机播放。最重要的是，我们还将音调变化添加到声音片段，从而确保每次听起来都略有不同。
我们必须将这个音效系统应用于场景中的几乎每个对象。由于玩家可以自由与场景中一切进行交互，因此我们必须确保能够接触的所有内容都能满足声音反馈，并且不会破坏沉浸感。但是，如果玩家周围有如此多的音频效果，他们又将如何获取更多重要信息，并找出故事的含义呢？
2. 利用声音来叙述故事
当谈到要用音频来讲述VR中的交互式叙事时，我们需要记住一个概念：间接控制。这种技巧主要是通过设计来引导玩家执行某些预期动作，同时令他们以为这都是自己的主动选择。
精心设计的音频体验是间接控制的绝佳机会，因为音频具有几个可用于指导玩家的关键特点。首先，它为玩家设定了体验的时间和空间。例如在《The Price of Freedom》中，场景中有一个播放着60年代音乐的收音机，还有播放约翰·肯尼迪就职演说的电视机，这样玩家就可以清楚地知道他们所处的特定时期，亦即60年代的美国。
与此同时，除了直接引导玩家做什么的教学性对话之外，我们还提供了包含对话的卷轴式磁带，这不仅可以引导玩家把注意力集中在空间的特定区域，还可以提供故事的片段以作为强化。磁带，以及诸如字符，文档和图片等其他元素会一遍又一遍地提醒玩家。因此，即便他们错过了一些信息，他们仍然能够对故事有一个完整的了解。
音频也为体验设定了情感基调。交互式音乐是影响玩家情绪状态的好方法。我们将乐曲设计成不同的情感强度，然后按顺序放置在场景中以供玩家触发
以火灾场景为例。我们将这个场景的情感设计为4级强度。在开始时，玩家在阅读一个活页夹时会发现自己到底做了什么可怕的事情。我们希望玩家能够逐渐感受到从麻木到悲伤的情感，就像角色在故事中所感受到的那样。当玩家完成阅读时，第一层强度开始，这是一个非常简单的曲调，带有淡淡的忧郁。只有一个合成器模拟心跳。一旦玩家点燃活页夹，第二层将触发。这时，悲伤的情绪将随着火焰而增长。钢琴旋律添加到第二层，表示玩家的良心正在被唤醒。
然后，当玩家找到退出房间的方法时就会触发第三层强度。悲伤的情绪变得更加强烈，暗示一切角色的生活将发生变化。随着场景逐渐消失，我们为音乐结尾设计了一个符尾，使其听起来像一个线性音乐体验。然后故事继续…
说到音乐，有人可能会问为VR和非VR游戏编写音乐有什么区别。在我个人看来，VR中的音乐应该更加微妙，并且对玩家而言要更加亲密。这是因为这是玩家的个人和直接体验。从第一人称的角度来看，VR中的音乐就是玩家与虚拟世界的联系。他们是故事中的主角，音乐围绕他们而建立。
在《The Price of Freedom》中，我们为不同的主题设计了结合非叙事和叙事形式的标志性音乐。我们为本·米勒及其女儿凯西·米勒设计了主题音乐，在父亲在女儿生日时所赠送的音乐盒所播放的曲调。在那之后，每当故事的情节或信息与凯茜有关时，相同主题的音乐就会令玩家回忆起那段往事。
3. VR中的空间音频放置
现在我们已经创建了所有的声音文件，接下来的问题是：我们应该在VR环境中应如何放置它们呢？我们希望令玩家感觉他们实际上是置身于那个空间，但同时，我们试图强化一些音频线索的清晰度，并确保玩家不会错过它。一般来说，我们将它们分成两组：第一组是将音频放置在环境中的固定位置；第二组音频则放置在玩家的相对位置。
第一组包括我们的氛围音效，碰撞/互动声音，叙事音乐和一些对话。它将声音附加到某个对象或空间中的某个位置，这有助于创建玩家的音频环境。以我们氛围音效为例：我们为每个房间设计了一个5扬声器系统，将每个单声道声音文件连接到每个扬声器，并把它们放置在空间中，从而模拟我们在现实世界中设置5.1扬声器的方式。
但对于第二组声音，它们将根据玩家的位置进行相应地移动。我们有时将其称之为“头部锁定”音频。例子包括一些对话，以及来自过场动画中的一些非叙事音乐和音频。这组声音用于确保玩家可以接收到音频内容的完整信息。以画外音为例：我们提供了一个医生角色的声音旁白，可以帮助你了解在整个体验过程中应该做些什么。我们始终将语音音频源放在玩家的头部后面。这样的设置不仅可以让玩家始终能够从同一方向获取清晰的信息，而且还可以匹配故事的设置。
4. 混音
现在我们已经在VR中放置了所有的声音，但接下来我们应如何混合它们呢？
我们认为通过将所有音频源放入更大的组中（SFX，Music，Dialogue和Ambience）进行管理，将组分配到Unity混音器中的各个频道，并根据组而不是个人进行混音会令工作更加轻松。当然，对于分组到一个频道的文件，我已经先在DAW中调整了彼此之间的相对音量。话虽如此，检查你在VR中的混音仍然非常重要，因为你在DAW中听到的效果在VR中听起来肯定有所不同。这不是一次性的事情，而是一个来回反复的过程。
5. 总结
总而言之，处理碰撞和交互音效，并尽早将它们放入原型中有助于设计师和音频专业人员的开发。了解如何使用音频来指导玩家，并通过向玩家传达信息和影响他们的情绪来丰富交互式故事叙述。采用标志性音乐的概念还能帮助玩家识别故事中的人物和情节，并给他们带来更难忘的体验。最后，良好的空间音频放置策略和混音不仅可以提高音频管道的效率，还可以提供更加身临其境的效果。
