游戏配乐师分享VR游戏音频开发的工具和技巧
文章相关引用及参考：gamasutra
本文来自游戏配乐师师温妮弗雷德·菲利普
（映维网 2018年11月28日）在一系列形式的沉浸式故事中，音频都十分重要。乔治·卢卡斯曾经说过，“声音占体验的一半”。这样的说法对虚拟现实，增强现实和混合现实而言更是如此。游戏配乐师温妮弗雷德·菲利普（Winifred Phillips）日前分享了关于VR游戏音频开发的工具和技巧等入门介绍，以下是映维网的具体整理：
大家好！我是游戏配乐师温妮弗雷德·菲利普（Winifred Phillips）。我最近一直忙于为工作室一系列优秀的VR游戏创作配乐，包括即将于下周三（11月21日）登陆Oculus Rift，HTC Vive和WMR，以及将于12月18日上架PSVR的第一人称射击游戏《Scraper：First Strike》。这个项目的工作肯定令我有关VR的一切产生了兴趣。游戏即将发售，下面是开发商Labrodex工作室公布的预告片视频，其中包含我为游戏创作的配乐：
《Scraper：First Strike》只是我在过去一年中负责的众多VR游戏之一。当我去年刚刚开始忙于与VR开发团队合作的时候，我已经撰写了一篇提供一系列与VR音频相关信息资源的文章。17年的文章用一种通用的思路来探讨了音频在虚拟现实体验中作用。来到2018年，我认为我们可以进一步扩展这个主题，包括VR头显平台中最先进的技术。了解目前可用的硬件平台可以帮助我们游戏配乐师更好地理解VR音频正在发展的方向。
首先，人们普遍认为认为VR属于一个更大的类别，其他还包括AR增强现实和MR混合现实。人们通常认为AR和MR是同义词，但这值得商榷。由于目前行业尚未有明确的共识来区分AR与MR，我们现在将它们视为AR/MR类别。在本文中，我将重点关注每个竞争平台特有于VR和AR/MR的资源。好，下面开始吧。
1. 用于VR和AR/MR设备的音频
现在市场上存在各种各样能够将我们沉浸在幻想世界里，或者将奇妙魔法带到我们房间中的头显设备。尽管它们中的许多在音频创建和实现方面采用共同的基础技术，但存在适用于每一个的不同工具和技术。
2. 当虚拟声学遇上真实声学
新发售的Magic Leap One属于AR/MR设备。这意味着它允许佩戴者看到现实世界，并同时感知叠加其上的数字影像。例如，AR/MR设备可以呈现微型玩具恐龙正在咖啡桌上蹒跚而行的画面。考虑到这一点，为AR/MR创建音频变得有点棘手。
比方说，假如我们希望小恐龙在爬上咖啡桌上的书本时发出一种可怕的吼声。如果声音听起来不像是发生在房间之中，并有着独特的声学特性，音效就无法令人信服。你必须映射真实的房间，并且必须考虑声学计算。在为虚拟现实开发音效时这不是问题，因为声源完全存在于虚拟世界中的环境中。
这是一个引人入胜的问题，同时是Magic Leap认真考虑过的问题。借助他们称之为“Soundfield Audio”的系统来应用物理计算，设备可以根据环境产生适当的声学效果。Magic Leap还获得了一份空间音频技术的专利，利用佩戴者的头部动作来计算虚拟声源的位置。下面这个视频展示了Magic Leap的音乐可视化应用程序Tónandi：
Hololens也属于AR/MR设备，因此面临与Magic Leap One相同的许多问题。为了予以解决，Hololens采用空间音频引擎来计算声源位置，并结合个性化头部相关传输函数（HRTF）。HRTF有助于本地化虚拟音景的所有听觉组件。另外，Hololens创建了一个与用户位置相匹配的房间模型，这样声音似乎可以在真实的墙壁反射出来并令人信服地前往佩戴者耳朵。当微软于明年年初发布下一代Hololens时，我们应该可以期待这项技术得到进一步的优化。下面是Engadget制作的视频，他们详细介绍了Hololens提供的音频体验：
3. 混合现实的空间音效
我们正在等待下一代的HoloLens，而微软则在忙于他们WMR平台（允许第三方设备厂商根据现有的VR参考设计与软件来开发VR头显）。尽管WMR平台和HoloLens存在一定的共有元素，但WMR下面的VR设备则只提供标准的VR体验，不具备任何AR/MR元素。HoloLens和WMR设备都采用Spatial Soud软件开发套件来设计与实现定位音频。这允许开发者通过相同的工具来为一系列的设备创建音景。这样便利的条件显然十分诱人，但HoloLens和WMR提供了非常不同的体验，所以音频开发者觉得需要记住这一点。下面是关于Spatial Sound SDK功能介绍的一个短视频：
4. 虚拟设备的定位音频
我们现在继续讨论当前VR设备正在发生的事情。众所周知，与AR/MR头显不同，VR设备切断了我们与外部世界的联系，令我们完全沉浸在在设备生成的环境中。目前市场为我们提供多样化的VR设备选择。
最为热门和著名的VR头显是Oculus Rift和HTC Vive。这两种设备都依靠定位音频技术来提供出色的听觉体验，而且两家企业都在不断努力改进技术。
2018年6月，HTC Vive推出了一个用于沉浸式音频的全新软件开发套件。新的SDK支持更复杂的音频技术，如更高阶的环境立体学声，更高分辨率的音频，更精致的空间声学，以及基于真实世界模型的HRTF，可提高定位音频的准确性。
Oculus Rift已经升级了现有的音频SDK，从而改善非常从接近玩家位置发出的定位声音精确度。他们将其称之为近场头相关传输函数（Near-Field Head-Related-Transfer-Function；HRTF）。
他们同时提供了大型声源的选项，如海洋或森林火灾。借助Volumetric Sound Sources技术，大型发声对象可以在与其比例一致的指定半径上投射听觉内容。
下面是一段来自OC4大会的视频，其说明了Oculus Audio SDK的近场头相关传输函数和Volumetric Sound Sources功能：
作为唯一的主机专用VR设备，PSVR所面向的市场与Rift或Vive等设备不同，因此没有面临同样的竞争压力。尽管如此，索尼仍在继续优化PSVR的技术。最新型号的PSVR（去年年底推出）是一款经过调整的版本，实现了一些小但有价值的改进。其中，索尼为头显添加了内置立体声耳机，无需玩家插入单独的耳机即可体验VR音频。
5. 一体机VR音频
现在我们快速过一篇VR一体机（即无需计算机，主机或智能手机即可运作的设备）。这种VR头显提供了无线的虚拟现实体验，但它们通常不是十分强大和功能齐全。五款著名的VR一体机是Oculus Go，Oculus Quest，联想Mirage Solo，HTC Vive Focus和Shadow VR。
Oculus Go和联想Mirage Solo，以及HTC Vive Focus和Shadow VR都已经发售。Oculus最近发布了Quest，而设备有望在2019年春季上市。所有五款头显都采用了骁龙系列的高通智能手机处理器芯片，因此在这方面它们基本上采用了高端智能手机的内部机制，而且只是简单将其整合至板载硬件中。
实际上，高通骁龙835同时也用于三星Galaxy S8，Google Pixel 2和许多其他智能手机型号。由于所有五款VR一体机都采用骁龙技术，因此开发者可以选择Qualcomm Snapdragon VR软件开发套件，其包括用于Unity的3D音频插件（旨在为高通骁龙设备提供高性能音频）。高通同时提供了一套3D音频工具，可搭配Pro Tools等数字音频工作站。尽管这不是唯一的选择，但由于它们是由负责骁龙处理器的公司开发，因此工具的设计和功能可能有所增益。
6. 移动VR音频
如果你在亚马逊搜索“Mobile VR Headsets”，你将发现一系列令人眼花缭乱的头显模型，它们都围绕“插入你的智能手机手机”进行构建。这种头显依赖于智能手机的处理技术，并且存在众多的型号选择。一般来说，如果存在特定于某款移动VR头显型号的SDK，你应该予以考虑。例如，Oculus Audio SDK是面向三星Gear VR，Oculus Go和Oculus Quest，因为这三款设备都是Oculus设计的VR系统。同样，来自谷歌的全新Resonance Audio SDK是任何谷歌头显的优秀选择，如Daydream View，Google Cardboard和联想Mirage Solo等等。以下是谷歌制作的Resonance Audio SDK演示视频：
7. 总结
以上就是我们对当前VR和AR/MR平台的讨论。在下一篇文章中，我们将重点介绍VR游戏音频工作者的技巧和工具。我希望你喜欢这篇文章，请在下面评论栏留下你的看法。
