苹果最新VR头显专利：内向外追踪、身体追踪、手部追踪
查看引用/信息源请点击：映维网
AR/VR/MR头显
（映维网 2021年01月15日）日前美国专利商标局公布了一份来自苹果的专利延续案申请。这份发明主要面向用于将用户沉浸在虚拟现实/增强现实/混合现实（MR）环境的头戴式显示器。
用户佩戴头显示意图，配备多个摄像头和红外发射器
沉浸感质量取决于数个重要因素，如显示器的特性，比方说图像质量、帧速率、像素分辨率、高动态范围（HDR）、视觉暂留和纱窗效应。
追踪各种元素通常是实现高端VR/MR应用体验的必要前提。在所述要素中，头部追踪、用户身体追踪和环境追踪是实现沉浸感的关键。
头部追踪的目标是估计头显在环境中的位置和方向，这必须是低延迟和高精确。原因是，渲染的图形必须与用户的头部运动紧密匹配，以便在虚拟现实中产生足够的沉浸感或在混合现实中正确地将数字内容对齐真实世界。
用户身体追踪用于估计用户身体（主要但不限于手和手指）相对于头显的位置和方向。它可以在VR/MR中提供一种用户输入方式（如手势），并实现与虚拟元素的交互。行业存在不少用于手部追踪的方法，如通过红外摄像头追踪手持式控制器搭载的LED阵列。其他方法则利用较小的分析空间（通常在距离头显一米的范围内）来增加手部和手指追踪算法的鲁棒性。
例如，近距离飞行时间（ToF）摄像头可以与头显集成或嵌入到头显之中。这种摄像头可以生成手部的深度图，然后可以从中构建手部的骨骼模型。另一种方法是使用红外LED泛光灯和摄像头来分割和估计手和手指的3D点。
下面的专利图2A是用于实现虚拟现实和混合现实的光学元件、显示器和摄像头的示例性实施例。
图4A是头显设备的第一示例性实施例的前视图，其中两个RGB摄像头针对透视目的（MR）进行了优化，两个IR摄像头提供用于追踪的视觉数据。
图5是实现具有头部追踪和用户身体追踪的处理步骤流程图；图8是实现用户身体追踪的示例性流程图。它同时包括手势识别。
作为专利延续案，这份文件主要增改了下面的内容，并且集中在红外投影仪的使用：
专利请求1：一种方法，包括：头戴式显示设备包括非暂时存储器、一个或多个处理器、用于与第一和第二RGB立体摄像头通信的通信接口、红外（IR）投影仪、一个或多个IR传感器和显示器；通过第一RGB立体摄像头获得物理环境的第一立体图像；通过第二RGB立体摄像头获得物理环境的第二立体图像；通过红外投影仪将红外电磁辐射的红外模式投影到物理环境；通过一个或多个红外传感器获取用于与IR图案反射相关联的物理环境的纹理信息；至少部分地根据纹理信息将第一立体图像中的每个像素匹配到第二立体图像中的不同像素，从而生成密集深度映射；根据密集深度映射将虚拟内容与第一和第二立体图像合成以生成显示图像；以及通过显示器显示显示图像。
专利请求3：专利请求1所述的方法进一步包括：根据随机或伪随机算法之一，通过红外投影仪生成红外图案。
专利请求8：对于专利请求1所述的方法，头戴式显示器的通信接口同时与一个或多个红外泛光灯通信，并且所述方法同时包括：根据时间复用方案操作所述红外投影仪和所述一个或多个红外泛光灯。
专利请求9：专利请求8所述的方法进一步包括：实时调制红外投影仪和一个或多个红外泛光灯的曝光时间、传感器增益和强度中的至少一个，以降低图像饱和并提高动态范围。
专利请求11：一种头戴式显示设备包括：用于与第一和第二RGB立体摄像头通信的通信接口、红外（IR）投影仪、一个或多个红外传感器和显示器；一个或多个处理器；以及存储一个或多个程序的非暂时存储器。当由一个或多个处理器执行时，所述程序致使头戴式显示器：通过第一RGB立体摄像头获取物理环境的第一立体图像；通过第二RGB立体摄像头获取物理环境的第二立体图像；通过红外投影仪将红外电磁辐射的红外图案投射到物理环境；通过一个或多个红外传感器获取用于与IR图案反射相关联的物理环境的纹理信息；至少部分地根据纹理信息将第一立体图像中的每个像素匹配到第二立体图像中的不同像素，从而生成密集深度映射；根据密集深度映射将虚拟内容与第一和第二立体图像合成以生成显示图像；以及通过显示器显示显示图像。
完整的20项增改专利要求请参阅相关专利：Apple Patent | Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking。
