Meta与高校联合研发BSM-iMagLS技术提升VR空间音频精度
在保持与最先进解决方案相当的量级精度的同时，ILD误差大幅降低
（映维网Nweon 2025年05月30日）增强现实和虚拟现实等应用中的听觉体验依赖于高质量的空间音频来确保沉浸感，这使得准确的双耳再现成为关键组成。作为捕获设备，只有少量不规则排列麦克风的可穿戴阵列在实现与具有大量麦克风阵列相当的再现质量方面面临挑战。
双耳信号匹配（BSM）是新近提出的一种跨信号方法，以支持仅使用少数麦克风产生高质量的双耳信号，并在高频下使用幅值最小二乘（MagLS）优化进一步改进。
在一项研究中，本·古里安大学和Meta团队将ILD引入到MagLS中，并集成到BSM中，从而将BSM扩展到MagLS。利用基于深度神经网络的求解器，所提出的BSM-iMagLS实现了联合优化，提高了空间保真度。
通过理论分析、不同HRTF和头戴式阵列几何形状的数值模拟以及聆听实验验证了性能，证明了在保持与最先进解决方案相当的量级精度的同时，ILD误差大幅降低。相关结果突出了BSM-iMagLS在增强可穿戴设备双耳再现方面的潜力。
双耳音频再现已经成为一个重要的研究领域，它有潜力在虚拟现实、增强现实等领域实现空间沉浸式体验。双耳信号通过捕获和再现三维声景，允许听者能够自然地感知空间音频线索，从而增强虚拟环境的真实感，并提高实际应用中的空间意识。
空间音频再现的一个常见解决方案涉及使用HOA。所述方法对特定听者的头相关传递函数（hHRTF）进行空间滤波，以精确计算双耳信号。然而，尽管HOA技术已经成熟并纳入MPEG-H Audio等标准，但它需要特定的阵列几何形状，如球面阵列和高空间分辨率。这限制了它对可穿戴设备和便携式设备的适用性。
相关方法依赖于对声场参数的估计，如主要声源的到达方向和混响成分的扩散，并在信号模型中使用相关估计来推导双耳信号。当模型假设成立时，参数方法可以获得高保真度，但其性能对估计误差非常敏感，并且依赖于时频域稀疏源分布等假设。
这种信号依赖性限制了它们在复杂声学环境中的鲁棒性。相反，当所记录的声场信息有限时，不需要详细声场信息的独立于信号的方法是可取的。基于信号独立波束形成的方法，如新近提出的双耳信号匹配（BSM），为任意阵列几何形状提供了灵活性，并且不需要捕获场景的先验信息。
BSM方法通过优化将阵列声传递函数与目标HRTF相匹配，实现了独立于信号的双耳再现。先前的研究已经证明了BSM的潜力，但同时强调了其在高频和退化空间保真度下的有限精度，特别是在头部运动下。在相关研究中，双耳再现误差证明与双耳信号（如ILD）的退化有关。
在先前的研究中，HRTF的一阶球面谐波（SH）系数在高频范围内针对幅度最小二乘（MagLS）和ILD进行优化。以其作为基础，团队通过优化BSM系数而不是HRTF SH系数，提出了适用于任意麦克风阵列的BSM iMagLS。
通过将框架从球形几何中泛化出来，BSM iMagLS方法扩大了高保真双耳再现的范围，以涵盖具有任意麦克风放置的现实世界设备。
新引入的DiMLS称为声级最小二乘（iMagLS），结合双耳的联合优化并明确考虑声级差比。在这方面，DiMLS可以看作是DMLS的自然扩展，因为它不仅旨在独立匹配每只耳朵的绝对值，而且保持它们之间的比例。
这种扩展在由于阵列限制而导致绝对值误差显著的频率范围内特别有利，同时保持低ILD误差依然可行。ILD是声音定位的关键听觉线索，而ILD的不准确会导致感知变化，因为人类听觉系统依赖相关线索来识别声源的位置。
总的来说，团队提出了一种针对任意麦克风阵列的双耳信号绘制方法——基于ILD和幅度最小二乘的双耳信号匹配BSM-iMagLS。
BSMiMagLS通过引入ILD优化对先前提出的BSM方法进行了改进。通过基于DNN的联合优化框架，BSM-iMagLS显著提高了空间精度，这对于使用可穿戴麦克风阵列有效再现双耳信号至关重要。
评估表明，BSM-iMagLS一致地减少了ILD误差，同时保持了与现有MagLS解决方案相当的幅度误差。相关改进在水平定位至关重要的情况下尤为明显，从而通过客观指标和听觉实验验证了所提出方法的感知优势。
研究结果强调了平衡大小和ILD精度对于增强双耳音频再现的空间感知的重要性。所以，BSMiMagLS作为一种更准确和感知有效的双耳渲染技术出现，特别适合于头戴式麦克风阵列的限制。
