索尼专利用麦克风等追踪头部AR/VR头显帮助捕获HRTF

小编刘卫华 | 分类：专利 | 2023年2月21日

加入映维网会员

使用包括麦克风、信号处理器和扬声器的助听器，以及可以追踪头部的AR/VR头显来帮助捕获HRTF

（映维网Nweon 2023年02月21日）头相关传递函数HRTF用于调节声音进入耳朵的方式，以模拟由于环境、头形、耳形、肩部反射等造成的真实世界变化影响。创建HRTF的一种传统方法是在一间特殊房间中将小型麦克风放到人耳之内，并在房间配备多个声源以播放可由麦克风检测到的测试音。

在名为“Using bluetooth / wireless hearing aids for personalized hrtf creation”的专利申请中，索尼提出使用包括麦克风、信号处理器和扬声器的助听器，以及可以追踪头部的AR/VR头显来帮助捕获HRTF。

图1示出了示例系统10，包括在系统10中的示例性设备是示例性消费电子（CE）设备12。CE设备12可以由图1中所示的组件来建立。例如，CE设备12可以包括一个或多个显示器14，用于输出音频的一个或更多个扬声器16，以及一个或多个网络接口18等等。

CE设备12同时可以包括一个或多个输入端口22，从而以物理形式接到诸如AR/VR头显这样的头戴式设备。

CE设备12可以经由端口22或经由接口18的无线链路与头显24的听筒中的麦克风30、头显24中的扬声器32、以及佩戴在头显24下方的助听器34通信。

当由游戏主机实现时，CE设备12可以是计算机模拟的示例源，并可以在头显24播放来自主机的音频。

为了帮助终端用户能够访问自己的个性化HRTF文件，文件一旦生成，就可以存储在便携式存储器38和/或云存储器40。

播放设备可以包括一个或多个附加处理器，例如具有数模转换器（DAC）44的第二数字信号处理器（DSP），其将诸如立体声音频或多声道（大于两声道）音频的音频流数字化，将音频与存储器38的HRTF信息卷积或从云存储下载。

图2示出了包含左耳机扬声器202和右耳机扬声器202的示例性头显200。在一个实施例中，头显200可以包括一个或者更多个无线收发器206。助听器212可以独立地或与头显200一起佩戴。头显200可以包括一个或多个位置或位置传感器214，例如全球定位卫星（GPS）接收器，以及一个或更多个姿态传感器216，例如加速计、磁力计和陀螺仪的组合，以感测头显在空间中的位置和方位。

图3示出了示例性非限制性助听器300。助听器300包括外壳302，外壳302的远端304（如306所示。远端304可以是例如耳罩或模具。与远端304相对的是如308所示的近端。近端304可视为输入端，因为声音从远端发出，所以可以视为输出端。

因此，至少一个扬声器310位于外壳302中的远端304处，以通过远端304提供由至少一个处理器314控制的至少一个放大器312放大的声音。与众多助听器一样，助听器300可以包括一个或多个线圈316。

助听器300同时可以包括一个或多个可操纵的控件，例如按钮32，以及一个或多个无线收发器322。在一个示例中，无线收发器322包括蓝牙收发器。为了接收用于处理的输入声音，一个或多个麦克风324可以位于外壳302中。

图4示出了为佩戴助听器300的用户生成个性化HRTF的示例系统。所述系统可以包括助听器300、图1中的头显24、图1的声源12、以及可以经由收发器322从助听器300接收无线信号的主机400。

图5示出了可以呈现在显示器500的示例UI。UI还可以包括两个选择器504、506，第一个选择器用于指示用户在佩戴助听器300的同时佩戴头显，第二个选择器用于指示用户打算在没有助听器的情况下使用头显收听音频。

图6示出了示例逻辑。从框600开始，在助听器300和主机400之间建立诸如蓝牙通信信道的连接。框602，头显24中的头部追踪系统初始化。

框604，诸如HRTF测试声音的声音模式由源12发射，并经由有线或有线通信路径提供给主机。框606指示用户根据图5中的提示502在空间中移动，这可以包括行走、转头、坐下和站起等。

当用户移动时，使用头显24的定向和位置传感器来追踪头部，而头显24通过无线路径向主机400发送头部追踪信号。在框608，助听器300捕获音频，并且音频检测的指示经由诸如蓝牙传输发送到主机。

由声源12发出的测试声音和由助听器300发送到主计算机400的音频检测信号都有时间戳，从头显24发送到主机400的头部追踪信号同样如此。

换句话说，音频传输和检测以及头部追踪已知，并且包括用于在消声室中生成HRTF的相同或等效的参数。对于发出的每个测试音，发射（声源12）的时间和位置已知，检测的时间和地点也已知，用户的头部方向和相对于声源12的位置同样已知。框610相应地指示，使用所述信息，包括相对于声源的头部追踪以及测试音频音调的发射和检测时间，为用户生成个性化HRTF。

当用户指示佩戴助听器时，来自助听器的无线信号可以表示麦克风输出端（助听器的输入端）的信号。这产生了HRTF，并用于在佩戴助听器时处理头显24播放的音频。

另一方面，当用户指示不佩戴助听器时，来自助听器的无线信号可以表示助听器的扬声器的输入端（助听器的输出端）处的信号。当用户未佩戴助听器时，这会产生用于在头显播放音频的HRTF。

助听器可以发送两个信号（输入和输出处的检测信号），并且主机可以根据用户选择来选择信号。