Meta提出提升AR/VR空间音频再现质量的新优化方法
提高双耳信号的整体空间质量
（映维网Nweon 2025年01月24日）以耳机为中心的双耳听力再现已经成为研究的焦点，特别是在增强现实和虚拟现实等先进技术领域。高质量的空间音频对于保持无缝的沉浸感至关重要。然而，由于设计限制，可穿戴录音设备只配备了有限数量的麦克风和不规则的麦克风放置。
与高阶麦克风阵列捕获的参考信号相比，上述因素导致了有限的再现质量。针对这个问题，本·古里安大学和Meta团队介绍了一种针对基于波束形成、信号无关的双耳再现方案量身定制的新型优化损耗。
iMagLS-BSM方法将耳间电平差（ILD）误差项纳入到BSM MagLS的横向平面角度渲染损失中。所述方法利用非线性规划最小化引入的损失，而初步结果显示，ILD误差大幅降低，同时保持了双耳大小误差与MagLS BSM解决方案相当。相关发现有望提高双耳信号的整体空间质量。
近年来，双耳音频再现已成为一个非常活跃的研究领域，特别是虚拟现实和增强现实领域的应用越来越多。双耳音频非常适合XR，因为用户能够体验头显再现的三维音景。
捕获声学场景并在双耳音频中再现它的一种流行方法是流行的Ambisonics格式。在立体声系统中，声学场景通常由球形麦克风阵列捕获；声场表征随后由头相关传递函数（HRTF）滤波，形成双耳信号。
然而，对球形麦克风阵列的需求限制了其在需要更灵活放置麦克风的场景中的适用性。从任意阵列再现双耳信号的一种方法是双耳信号匹配（BSM）方法，这通常是指在估计双耳信号的同时，通过使用线性公式将阵列转向向量与HRTF匹配，从而使均方误差（MSE）最小二乘误差（MagLS）最小化。
所述方法显示出了相当好的前景。然而，当将其产生的双耳信号与高质量信号进行比较时，就感知的空间质量而言，性能依然不足，特别是对于麦克风位于远离用户耳朵的阵列。
另一种用任意麦克风阵列进行双耳再现的方法是参数化方法。相关方法依赖于信号，这意味着性能取决于场景参数的估计精度，如到达方向，声场的扩散，以及声源在时频域的稀疏性假设。
由于上述原因，本·古里安大学和Meta将重点放在信号无关方法方面，并提出了一种基于BSM的方法。
研究人员从中提出的先前方法中获得灵感，并将其扩展到了球面阵列之外。所建议的方法旨在通过均方误差（MSE）和幅度误差项中引入ILD误差项来解决BSM方法的感知质量差距。采用模拟麦克风阵列和记录HRFT的客观评估验证了所提出方法的有效性，证明了ILD误差的显著降低以及幅度误差的边际增加。
名为iMagLS-BSM的优化方法旨在克服以往双耳信号匹配（BSM）方法的局限性，特别注重改善与可穿戴麦克风阵列相关的空间信息缺陷。
这一解决方案通过在广泛使用的MagLS方法中加入一个耳间水位差（ILD）误差项来增强BSM。数值评估表明，与MagLS方法相比，iMagLSBSM方法在保持相当量级误差的同时显著降低了ILD误差。
团队指出，相关发现突出了所提出的方法在减轻空间信息缺陷和提高双耳再现信号准确性方面的潜力，特别是在可穿戴设备的限制下。
结果表明，BSM系数的选择不仅要优先考虑单个震级的精度，而且要考虑耳间的关系。这种见解鼓励采用更细致入微的方法来设计BSM，以增强空间音频感知。
相关论文：Feasibility of iMagLS-BSM – ILD Informed Binaural Signal Matching with Arbitrary Microphone Array
作为未来工作的方向，团队建议进行更广泛的研究，包括不同的HRTF、阵列配置和感知听力测试，以进一步验证所述说法，并评估iMagLS-BSM方法在现实世界中的适用性。这将有助于更深入地了解其在各种场景和用户偏好中的有效性。
