Meta研究员探索为户外AR眼镜用户提供更高质量的语音双耳信号
再现双耳信号
（映维网Nweon 2022年04月18日）由于出行限制和在家办公的普及，包含声音的Telepresence远程呈现最近引起了社区极大的兴趣。所述技术一般需要一个麦克风阵列来捕获会议室中的声音，并在远程位置播放双耳信号。会议室可能包含噪音或干扰，所以有必要增强信号。另外，会议参与者和可穿戴阵列可能会改变位置，从而对处理和播放造成挑战。
目前的远程呈现方法通常采用双耳阵列或球形阵列来编码双耳信号，从而有助于高质量的双耳再现。信号增强同时可以合并以抑制干扰说话人或噪声。然而，在多个移动说话人和/或移动阵列的情况下，设备的性能会恶化。同时，手持设备或可穿戴阵列可能无法提供双耳和球形阵列。总之，当前的方法有以下局限性：一般配置的麦克风阵列无法合并；动态和嘈杂的场景会导致性能显著下降。
在名为《Audio Signal Processing for Telepresence Based on Wearable Array in Noisy and Dynamic Scenes》的论文中，以色列本·古里安大学和Reality Labs Reaearch的研究人员提出了旨在克服当前限制的解决方案。相关措施包括三个阶段：声场景分析，即使用DPD测试估计混响下的说话人方向；基于期望源和阵列传递函数估计的信号增强；以及使用双耳信号匹配方法再现双耳信号。
团队研究了两种替代方案：第一种是基于模型；第二种方案采用了基于学习的语音分离方法，以支持动态条件下的一致增强。最后，实验通过听力测试来量化主观表现。
......（全文 1534 字，剩余 1029 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
