Oculus分享:如何为VR音频设计环境建模,提升沉浸感

查看引用/信息源请点击:映维网

高质量的空间音频能够提升沉浸感,并创建一种临场感

映维网 2021年06月26日)音频对整体的VR体验而言十分重要,高质量的空间音频能够提升沉浸感,并创建一种临场感,从而让用户感觉自己仿佛真的置身于虚拟世界。为了提供必要的线索,重要的是要考虑头相关传递函数(HRTFs)。HRTFs描述了头、耳、鼻和嘴的形状是如何影响耳朵听到的声音,提高一些频率,减弱其他频率。尽管它提供了一个三维声音模型,但由于缺乏空间氛围,其听起来的人为痕迹会比较明显。为了弥补这一点,我们可以添加环境建模来模拟附近几何体的声学效果。

Oculus早前已经发布的VR音频设计指南《VR Audio Design, Engineering and Mastering Guide》就包含关于上述环境建模的介绍。其主要概述了驱动环境建模的核心概念,包括混响和反射、示例模型、临场感、世界声学等。

下面映维网整理了上述VR音频设计中的“环境建模部分”

1. 混响和反射

当声音在空间中传播时,它们会从物体表面反射,并产生一系列的回声。一开始的清晰回声称为早期反射,其可以帮助我们确定声音的方向和距离。随着回声的传播、减弱和相互作用,它们会产生了一个后期混响尾,而它有助于我们的空间感。

2. 鞋盒模型

一些三维位置实现将简单的“鞋盒室”建模在HRTF实现之上。其中包括指定六面平行墙(即“鞋盒”)的距离和反射率,有时还包括听者在房间内的位置和方向。使用这个基本模型,你可以模拟墙壁的早期反射和后期混响特性。

尽管远非完美,但它比人为混响或没有混响要好得多。

3. 人为混响

由于模拟物理墙壁和后期混响的计算成本很快就会变得非常高,所以混响通常是通过人为的、特别的方法引入,例如80年代和90年代的数字混响单元所使用的方法。尽管计算强度比物理模型小,但它们不考虑听者的方位或周围的物理环境,所以这些方法听起来不太真实。

4. 采用脉冲响应混响

卷积混响从一个特定的现实世界位置采用脉冲响应,如录音棚,体育场,或演讲厅。然后可以将其应用于信号,使其听起来像是从所述位置播放。这可以产生逼真的和身临其境的混响效果。缺点是,从中捕获脉冲响应的真实环境不一定会完美地映射到虚拟世界,而且由于脉冲响应是从单个位置捕获,所以当用户在整个环境中移动时,它无法相应地适配。

5. 世界几何与声学

“鞋盒模型”尝试提供环境几何体的简化表示。它假设没有遮挡,所有表面上的频率吸收相等,六个平行的墙壁与听者的头部保持固定距离。不用说,这是为了性能而进行了大量简化。但随着虚拟现实环境变得更加复杂和动态,它可能无法正常扩展。

目前存在一些模拟衍射和复杂环境几何的解决方案,但支持范围并不广,而且性能影响依然很大。

6. 临场感和沉浸感

音频为整个虚拟现实体验做出了巨大贡献,高质量的空间音频增强了沉浸感,并创造了一种临场感。

当用户位于场景内部时,音频沉浸感能够实现最大化。例如在一个三维象棋游戏中,玩家俯视一个虚拟棋盘所提供空间感不如玩家站在棋盘之上。

本文链接https://news.nweon.com/86979
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群苹果Vision  |  Meta Quest  |  微软HoloLens  |  AR/VR开发者  |  映维粉丝读者

更多阅读推荐......

资讯