《Sonaria》正如何解决VR音乐与声效设计的挑战？

文章相关引用及参考：venturebeat

“感觉就像你是一列火车的工程师，而你在不断前进的过程中需要同时铺设轨道。”

（映维网 2017年12月20日）Pollen Music Group至今已为二十多部虚拟现实影片设计音效和曲目，包括Glen Keane的《Duet》和Patrick Osborne的《Pearl》（首部获奥斯卡提名的虚拟现实影片）。在最近，他们为Google Spotlight Stories平台创建了一款VR体验《Sonaria》。这是Pollen首次同时负责视觉与音效的作品。《Sonaria》目前已经上架iOS和安卓版Google Spotlight Stories应用，以及Steam平台（支持HTC Vive和Oculus Rift）。

在《Sonaria》的故事中，两个千变万化的生物将踏上一场丰富多彩的旅程，穿行一系列不同的环境。故事采用了令人愉悦的极简主义美学，创作者希望为观众带来一个主要由环境音效驱动的轻松体验。

Pollen创办于2010年，原本是为传统电视和电影作曲，如皮克斯的短片作品《Presto》。在2012年，《Presto》的导演Doug Sweetland向Pollen的执行总监Scot Stafford介绍了360度故事叙述这一概念。

Stafford说道：“我曾涉足于游戏领域，并且了解它们可能需要的东西。后来我与Sweetland，以及现任Google Spotlight Stories的执行制作人Karen Dufilho进行了交流。他们向我展示了一些实验，其中手机就像神奇的窗口一样，你会看到一个360度的立体世界将会全方位地围绕着你。我们看到了一只老鼠在追逐一顶帽子的故事，因为风吹走了老鼠身上的帽子。我从来没有见过这样的事情。”

从那以后，Pollen负责了Spotlight Stories的一些VR项目（谷歌的iOS和安卓应用，用户可以使用诸如谷歌Cardboard或Daydream之类的头显来体验VR电影）。由于Pollen希望探索声效和音乐如何能借助VR的6个自由度来变得更具沉浸感，他们开始了《Sonaria》这个项目。Stafford希望将用户置放于“两个世界的临界点上”，用户只需站着或坐着就可感受神奇的世界。这是Pollen以前曾经尝试过的概念，比如在《Pearl》中，观众可以坐在汽车里面，又或者是站起来把头伸出车顶天窗。

Stafford表示：“所以我们在开始《Sonaria》时首先思考的问题是，‘我们可以站在另一种类型的临界点上呢？’。我想出了这样一个方案：在南极冰架下的水底世界，我们将跟随着游动的海豹，然后它们将浮出水面并出现在冰架之上。我们可以往上跟着它们。随着我们跟随着它们从简单的生命形式进化成越来越复杂的生物时，这一切将会变成一段旅程。”

为了创建“彩色玻璃”美学，Pollen与Chromosphere和Kevin Dart（曾作为短片作品《June》的创意总监）合作。Stafford编写了一段简短的音乐，以此来向Dart讲述他希望通过《Sonaria》表达的那种心情，然后录制了海豹的声音，并且绘制了由泪珠形状组成的生物素描图。

Stafford说：“我希望创建一个非常小的视觉设计语言，而Kevin理解了泪珠的形状，并指出，‘我们不妨将其作为我们正在创造的这个世界的生命。’我们就此进行了一番讨论。他会向我发送这些惊人的生物设计图。比如需要多少滴泪珠才能让人觉得这是一只青蛙，这是一只水母，或者这是一只鲸鱼？正是这样一种纯粹的探索，我们只需很少的视觉即可构成画面，然后让声效和音乐变得更加密集和丰富，并填补所有的空缺。”

1. 创建所需的工具

VR的环形声音设计一直是个非常独特的挑战，尤其是因为Pollen必须创建一些必须的工具。Pollen的首席录音工程师J.J.威斯勒指出，他们在一开始的时候发现了数款可用的软件，但它们主要是为学术目的而设计，并不适合音效设计师和作曲师所需要的那种工作流程。Spotlight Stories聘请Pollen开发可以兼容内部编辑工具和Avid Pro Tools等行业标准的工具和音频插件。为此，他们与Paul Neyrinck进行了合作（他名下的Neyrinck专门从事于音频软件开发）。

Wiesler说：“我们自己开始使用它们。这令事情变得更加容易。我们继续开发它们，因为正如Scott所说，3自由度现在正转向6自由度。有一点非常重要的是，当用户围绕一个发出声音的对象行走时，声音需要仍然出它身上发出。在以往，我们无法在一个传统的作曲师或音效设计师的环境中处理这种对象。”

在VR中，这种声音不仅需要创建一个沉浸式环境，而且需要向观众传达出足够的位置指示信息。Stafford表示，VR音效设计的一半挑战来自于技术方面，另一半则来自于创造性方面。对于后者，你正在设计一个完整的世界，但你需要剔除多余的成分，这样观众才不会出现感官超负荷的现象。

就像在传统的音效设计中一样，Wiesler指出Pollen需要在真实感上和观众渴望听到的东西之间作出决定，但VR更为棘手，因为声音需要始终相对地来源于这一对象的方向。尽管存在挑战，但伴随而来的是一个额外的机会，我们可以通过声音引导观众注意力，并推动情节的发展。

2. VR中的空间与时间

Stafford表示：“与电影相比，我认为虚拟现实技术要求我们至少要更加牢记事物的物理和空间现实。应该专注于哪个层面，选择为什么事情设计声音，以及实时为耳机混合各种不同东西的方法，你需要变得非常敏感。我们是不是希望随着事物渐渐远离屏幕，其声音会逐渐变得安静呢？这是一个非常重要的故事点，无论如何，我们都需要充分实现它们。”

《Sonari》的一个关键点是陆地和海洋之间的临界点。水下的音效与陆地上的音效完全不同，而Stafford指出Pollen必须创建自己的技术，以营造出观众浸入海洋或浮出水面时的自然过渡。

他说：“我认为我们应用了7种不同的浸入或浮出海水时的音效，而这一切将根据你站立或就座时的速度。我们同时需要创建所谓的程序性回响，这意味着它正在实时发生。这一切都是实时效果。没有什么可以烘烤而成。对于水面上，我们需要声音变得非常干燥；对于水面下，我们需要声音变得非常潮湿和回荡不断。”

过渡有助于实现VR音效的复杂性。这是众多挑战之一，而其包括创建无缝体验；在玩家行为不可预知的情况下确定情感累积的时序；在持续音效与沉默时刻之间进行选择等等。

Stafford表示：“一方面，这并不是什么新鲜事。莫扎特在十八世纪曾依靠掷骰子来挑选音符。最近已经出现了关于时间弹性的游戏。你可以很容易地说，游戏已经变成一种真正的戏剧体验。许多作曲家已经解决了这个挑战，并创建了一些了不起的作品。但当你进入一个纯粹的电影体验时，情况会有点不同。你不再是一个被动者，你是一位见证者。这就是基于注视点的交互，我们关心的是你正在看向的地方。”

3. 下一步

Stafford说：“我们现在正在开展几个项目。我们暂时不能透露太多的信息，但我认为从3自由度到6自由度的转变是一个挑战。我们每次都在思考不同的答案，而这非常有趣。”

这支团队同时在期待更多地对增强现实和混合现实进行实验。AR和MR提出了一个全新的声音设计方式，因为它是现实世界与数字世界的融合。

Wiesler说：“我认为还有很长的路要走，但它们有很大的潜力。因为它们不是那么令人孤立。事实上，当你可以听到周围环境的所有声音时，这会让你感到更加舒适，而VR仍然需要克服这个挑战。”

无论接下来会遇到什么样的挑战，Pollen将会继续制作自己的工具，并创建以声音为中心的新体验。Stafford说：“作为同时在创建技术的创意人士，这感觉就像你是一列火车的工程师，而你在不断前进的过程中需要同时铺设轨道。”