Facebook FRLR分享沉浸式音频新进展，挑战极致还原真实音效

查看引用/信息源请点击：roadtovr

理解用户聆听声音的独特生理方式。

（映维网 2020年09月04日）Facebook Reality Labs Research (FRLR)日前分享了最新的音频计划。他们的目标是将相关技术应用到AR头显中，并允许你在嘈杂的环境中轻松地隔离人声，同时再现虚拟声音，使其听起来像是来自周围的真实世界。其中，一个定制的头相关传输函数（HRTF）是提供这种体验的关键，但涉及过程耗时且昂贵。所以，FRLR团队正在研究一种能够根据耳朵照片生成精确HRTF的可扩展解决方案。

Facebook Reality Labs（FRL）现在是Facebook旗下所有VR/AR团队的统一名称，并旨在开发下一代的沉浸式技术（包括Oculus头显）。Facebook Reality Labs Research（FRLR）则是这一事业群下属的研发部门。

日前，FRLR分享了关于沉浸式音频研究计划的最新进展，并表示这项研究“与Facebook实现AR眼镜的工作直接相关”，但其中的部分内容同样适用于VR。

1. 空间音频

团队的目标之一是，再现一种在感知方面与同一房间里的真实之物或真实之人的声音无法区分的虚拟音效。

研究负责人菲利普·罗宾逊（Philip Robinson）表示：“想象一下，如果你在打电话，你会认为对方就在身边，你会忘记你们实际上是相隔两地。这就是我们正在开发的技术的愿景。”

为了达到这个目标，研究人员表示他们需要解决两个关键挑战：理解用户所处环境的独特听觉特征；理解用户聆听声音的独特生理方式。

要理解房间的声学特性（声音如何回响），这可以通过根据头显追踪传感器绘制的几何图形来估计房间的声音。结合人工智能能够估计房间内特定表面的声学特性，这种关于真实声音如何在空间中传播的粗略图景可以用来提升虚拟声音的真实感，令其听起来仿佛真的是来自同一个房间。

Facebook的研究人员同时表示，所述信息可以添加到LiveMaps中（Facebook为真实世界构建的增强现实副本），并由同一空间中的其他设备调用。随着时间的推移，声学估计可以通过众包数据得到改善。

第二个主要挑战是理解用户聆听世界的独特方式。人类听觉是与头部和耳朵的形状息息相关。头部和耳朵的形状不仅会影响你所听到的声音，它对你辨别周围声音来源同样十分重要。如果你借用别人的耳朵来生活一天，你将非常难以确定声音到底是从何而来。

对于声音如何与不同形状的耳朵相互作用，学术界已经进行了充分的研究，而这可以用一个名为头相关传输函数（HRTF）的紧凑数值函数进行表示。但要精确测量一个人的HRTF，我们需要专门的工具和一个漫长的校准过程。这就像眼科医生测试你的眼睛视力参数一样，所以相关的解决方案难以扩展至每一个人。

针对这种情况，Facebook Reality Labs Research希望“开发一种可以根据（你的）耳朵照片这样简单的输入来近似出一个可行的个性化HRTF的算法”。

为了展示团队在空间音频方面的研究进展，他们制作了一款小型游戏。其中，被试穿戴一副追踪耳机并站在一个房间中，而里面散落着数个真正的扬声器。然后，研究人员播放一个声音，并要求被试判断声音是不是虚拟生成并通过耳机播放，又或是通过真实扬声器播放。研究小组指出，大多数被试的研究结果表明，虚拟声音和真实声音几乎无法区分。

2. 情景感知型降噪

尽管“感知方面无法区分”的虚拟声音可能会令你觉得朋友或家人就在身边，但Facebook Reality Labs Research同时希望利用音频来增强真实的面对面交流。

一个方法是创建情景感知的降噪技术。尽管今天降噪技术的目标是减少所有的外在声音，但情景感知型的降噪技术旨在隔离你不希望听到的外界声音，但保留你希望听到的声音。

为了做到这一点，Facebook的研究人员制作了原型耳塞，以及包含麦克风，头部追踪和眼动追踪功能的原型眼镜。原型眼镜可以监控周围的声音以及用户的视线。专门的算法将利用所述信息来判断用户希望听到的内容，如对面桌子的人，房间角落里的电视。信息将输入到算法的音频处理部分，并由后者筛选传入的声音，从而突出显示来自特定对象的特定声音，同时减少其他所有声音。

– – — – –

显然，对于Facebook正在研究的这项技术，其最终目标是应用到AR和VR头显。尽管研究人员表示他们已经验证了所述概念，但我们尚不清楚什么时候才能从实验室带到日常头显之中。