Oculus分享：如何为VR音频设计环境建模，提升沉浸感
高质量的空间音频能够提升沉浸感，并创建一种临场感
（映维网 2021年06月26日）音频对整体的VR体验而言十分重要，高质量的空间音频能够提升沉浸感，并创建一种临场感，从而让用户感觉自己仿佛真的置身于虚拟世界。为了提供必要的线索，重要的是要考虑头相关传递函数（HRTFs）。HRTFs描述了头、耳、鼻和嘴的形状是如何影响耳朵听到的声音，提高一些频率，减弱其他频率。尽管它提供了一个三维声音模型，但由于缺乏空间氛围，其听起来的人为痕迹会比较明显。为了弥补这一点，我们可以添加环境建模来模拟附近几何体的声学效果。
Oculus早前已经发布的VR音频设计指南《VR Audio Design, Engineering and Mastering Guide》就包含关于上述环境建模的介绍。其主要概述了驱动环境建模的核心概念，包括混响和反射、示例模型、临场感、世界声学等。
下面映维网整理了上述VR音频设计中的“环境建模部分”：
1. 混响和反射
当声音在空间中传播时，它们会从物体表面反射，并产生一系列的回声。一开始的清晰回声称为早期反射，其可以帮助我们确定声音的方向和距离。随着回声的传播、减弱和相互作用，它们会产生了一个后期混响尾，而它有助于我们的空间感。
2. 鞋盒模型
一些三维位置实现将简单的“鞋盒室”建模在HRTF实现之上。其中包括指定六面平行墙（即“鞋盒”）的距离和反射率，有时还包括听者在房间内的位置和方向。使用这个基本模型，你可以模拟墙壁的早期反射和后期混响特性。
尽管远非完美，但它比人为混响或没有混响要好得多。
3. 人为混响
由于模拟物理墙壁和后期混响的计算成本很快就会变得非常高，所以混响通常是通过人为的、特别的方法引入，例如80年代和90年代的数字混响单元所使用的方法。尽管计算强度比物理模型小，但它们不考虑听者的方位或周围的物理环境，所以这些方法听起来不太真实。
4. 采用脉冲响应混响
卷积混响从一个特定的现实世界位置采用脉冲响应，如录音棚，体育场，或演讲厅。然后可以将其应用于信号，使其听起来像是从所述位置播放。这可以产生逼真的和身临其境的混响效果。缺点是，从中捕获脉冲响应的真实环境不一定会完美地映射到虚拟世界，而且由于脉冲响应是从单个位置捕获，所以当用户在整个环境中移动时，它无法相应地适配。
5. 世界几何与声学
“鞋盒模型”尝试提供环境几何体的简化表示。它假设没有遮挡，所有表面上的频率吸收相等，六个平行的墙壁与听者的头部保持固定距离。不用说，这是为了性能而进行了大量简化。但随着虚拟现实环境变得更加复杂和动态，它可能无法正常扩展。
目前存在一些模拟衍射和复杂环境几何的解决方案，但支持范围并不广，而且性能影响依然很大。
6. 临场感和沉浸感
音频为整个虚拟现实体验做出了巨大贡献，高质量的空间音频增强了沉浸感，并创造了一种临场感。
当用户位于场景内部时，音频沉浸感能够实现最大化。例如在一个三维象棋游戏中，玩家俯视一个虚拟棋盘所提供空间感不如玩家站在棋盘之上。
