雨果·巴拉:行业北极星Vision Pro过度设计不适合产品市场

AMD TAN加速为Steam Audio带来更逼真空间音频反射声

查看引用/信息源请点击:映维网

音频对VR体验而言十分重要

映维网 2019年10月25日)Ambisonics是一种环绕声技术,可以覆盖水平面,以及听者上方和下方的区域。对于沉浸式体验,Ambisonics是一种重要的可选音频格式。日前,专注于音频设计的AMD的Fellow设计工程师Carl Wakeland撰文介绍了TrueAudio Next Acceleration和Steam Audio在三阶Ambisonics中的应用 。下面是映维网的具体整理:

在为游戏或体验创建音效时,大多数声音设计师都专注于直达声的精确空间3D渲染。空间化的直达声对实现可信的音景而言十分重要。

通常很少受到关注的一个声音设计方面是声音反射:到达耳朵前的墙壁,天花板,地板,以及房间对象的反射。与直达声的空间化相比,声音反射的精确物理渲染需要大量的计算资源,而可用的工具或许无法胜任这项任务。所以,大多数声音设计者会优先考虑空间化直达声的设计,并用简单的混响来实现声音反射,其中混响量设置为低级别,从而避免清晰度下降。

但如果在游戏或体验中实现逼真的声音反射,你可以提高真实感和可信度。在直达声不足的情况下,空间化的物理生成反射可以实现这个目标,并为用户提供有用的位置提示。Ambisonics这种3D音频编码格式能够以可扩展的分辨率渲染空间反射。Higher Order Ambisonics(HOA)在这里特别有效,因为每提高一阶都能以指数方式增加混响声场的空间分辨率,以及避免混乱和歧义。零阶Ambisonics属于单向,而三阶Ambisonics则可从16个方向解析声音(一阶4声道;二阶9声道;三阶16声道)。

Steam Audio是一个强大的音频SDK,可允许声音设计师轻松地增加逼真的物理建模声音反射。与传统的CPU渲染相比,利用当前的Steam Audio 2.0-Beta版本和兼容的AMD Radeon GPU,AMD TrueAudio Next (TAN)加速可以在更多的音频源支持三阶Ambisonics音频反射。Steam Audio SDK包含有关如何启用和利用TAN,以及如何为不支持TAN的系统轻松配置CPU回退选项的完整说明。

为了展示三阶Ambisonics渲染反射之于非空间化(零阶)音频反射的优势,我们利用Steam Audio Unity插件在Unity中创建了一个非常简单的场景,其中一个房间装有16个扬声器并同时发声。进入房间之前需要经过一条长长的走廊。

然后,我们在两种情况下捕获了场景的视频(包含在文中的视频里):

  1. 使用零阶Ambisonics渲染实时声音反射的位置。这总共使用了16个卷积,而这对于现代CPU并不困难。
  2. 使用包含TAN加速的三阶Ambisonics进行渲染。16个声源将使用256个卷积滤波器。

两种情况都使用相同的3D直达声渲染,所以彼此的差异仅来源于对声音反射的处理。Steam Audio SDK的集成CPU回退功能用于执行渲染改动。当不存在支持TAN的GPU时,Steam Audio会自动回退。按照Steam Audio SDK的说明,这种场景非常容易创建。

这里是TAN开启时的示例(建议用耳机):

在建筑物外面时,你可以十分容易听到反射声的方向。当只能听到反射声时,你无法直接定位声音。场景没有添加声音导向微件,而是利用物理方法自动创建。

在走廊中时,反射的声音听起来更加自然,而且它会引导你通往房间。

在房间内时,即使墙壁和天花板存在大量的混响,你都能够更轻松地判断出各个扬声器,而且在你周围走动时,房间的声音也更加自然。即使发生了大量的事情,声音听起来也更加舒适。对于零级Ambisonics反射,声音设计者通常需要调低混响级别,以免令听者混淆。在回退的情况下,你可以使用简单的脚本完成这一操作,但这个示例没有。在回退零阶情况下,逼真度和沉浸感不及HOA反射,但你不必为每种情况重构声音设计。

我们鼓励声音设计师尝试TAN加速,并感受具体的异同。Steam Audio的下载链接请点击这里

本文链接https://news.nweon.com/67901
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群苹果Vision  |  Meta Quest  |  微软HoloLens  |  AR/VR开发者  |  映维粉丝读者

您可能还喜欢...

资讯