苹果为AirPods和AR/VR头显申请『头部追踪空间音频』专利

查看引用/信息源请点击：patentlyapple

这种音频技术可以大大改善临场感

（映维网 2020年07月24日）苹果曾申请过数份双耳音频专利。日前，美国专利专利局公布了一份可用于下一代头戴式显示器的双耳音频发明。具体来说，这项专利向我们介绍了一种预测性头部追踪双耳音频。这种音频技术可以大大改善临场感，从而进一步提升VR RPG游戏和VR恐怖电影等体验。

苹果在专利文件中指出，虚拟现实允许用户体验和/或与沉浸式人造环境交互，这样用户会感觉自己仿佛置身于所述空间之中。例如，虚拟现实系统可以向用户显示立体场景以创建深度错觉，而计算机可以实时调整场景内容并提供用户在场景中移动的错觉。

当用户通过虚拟现实系统查看图像时，用户会感觉自己仿佛是从第一人称角度在场景中移动。类似地，混合现实将计算机生成信息与真实世界图像或真实世界视图相结合，从而增强或增加用户对世界的感知，或者将真实世界对象的虚拟表示与三维虚拟世界的视图相结合。

所以，可以利用虚拟现实的模拟环境和/或混合现实的混合环境来为多个应用提供交互式用户体验。

为了提高虚拟现实环境的真实感，苹果除了空间音频之外同时设计了头部追踪双耳音频渲染。这可能会极大改变音乐、游戏和电影领域。

苹果的发明描述了用于预测性头部追踪双耳音频渲染的方法和设备。在一个音频渲染系统和音频渲染方法的实施例中，实施例可以在VR/AR系统中实现。所述VR/AR系统包括计算设备（基站），所述计算设备通过无线技术渲染基于头部追踪的双耳音频并将其发送到提供双耳音频输出的头戴式显示器，或用于头显的独立式双耳音频设备。

头部追踪双耳音频渲染是一种可用于包括但不限于VR/AR应用程序的技术。它可以创建无论听者实际方位/位置如何都能在环境中保持稳定的虚拟音频源。

头部追踪双耳音频渲染方法可以渲染双耳音频流（包括左声道和右声道）并输出到头显，以便听者以空间音频感知方式听到声音。换句话说，用户听到的声音将如同真实世界一样，能够精确表现距离和方向。

相关专利：Apple Patent | Predictive Head-Tracked Binaural Audio Rendering

例如，系统可以通过头显播放声音，这样听者就可以从左侧、右侧、前方、后方或某个角度听到来自虚拟音频源的声音。可以衰减左声道和右声道（如电平、频率、延迟、混响等）以影响声音的感知方向和距离。

专利图2A则是使用头戴式设备的用户；图6B说明了双耳音频的独特地方，因为它能够追踪用户的头部，所以能够随用户移动音频源，就好像它总是相对于用户的头部投射声音。通过这样的方式，对于游戏场景，应在用户身后发出的噪音就会从用户身后传来。这非常适合在VR模式下进行RPG类型游戏。

苹果指出，尽管渲染组件呈现多个音频流并且头显选择一个或多个音频流以提供一维声音的方向性，但实施例可用于提供多个维度的声音方向性，如提供方位角、仰角，以及指示平移运动的声音。

例如，基站可以在水平维度的多个位置呈现音频流，并且可以在水平维度之上和/或之下呈现音频流。

如图8所示，基站可以在水平维度的位置A和B呈现音频流，并且可以在水平维度之上呈现音频流C。

专利图8展示了在多个维度提供声音的方向性。

头显可以根据最新的头部追踪数据选择并播放最接近头部实际位置和高度（倾斜性）的音频流，或者如果头部的实际位置位于音频流之间的某处，则可选地混合两个或更多个音频流。例如，如果头部位置在所述位置之一或附近，头显可以选择A、B或C；如果头部位置在A和B之间，则可以混合A和B；如果头部位置在A和C之间，则可以混合A和C；如果头部位置在B和C之间，则可以混合B和C；如果头部位置在A，B和C的中间，则可以混合A，B和C。这一切都是为了提供逼真的音频，并令用户仿佛置身于游戏场景之中。

如果能够实现，苹果的下一代音频有望大大提升未来头戴式显示设备的体验。

名为“Predictive Head-Tracked Binaural Audio Rendering”的苹果专利申请最初在2020年Q1季度提交，而部分研究可以追溯到2017年。需要注意的是，这只是一份专利申请，尚不确定苹果是否会或将于何时商业化所述的发明技术。