苹果AR/VR专利介绍用于检测移动平台运动的方法和系统
移动平台
（映维网Nweon 2022年04月28日）正如微软HoloLens的Moving Platform Mode移动平台模式所指，诸如汽车、船艇、飞机火车等摇晃平台会给XR设备的图像渲染造成影响。例如，用户可以在火车使用XR设备。当用户转动头部来环视四周时，系统可以检测电子设备的运动并使用其来修改虚拟对象的显示位置。但当列车开始行驶时，电子设备同样会检测到相关运动，并可能错误地将其解释为相对于虚拟对象显示位置的运动，并错误地移动虚拟对象的位置。
正在积极研究XR设备的苹果同样有考虑到所述问题。在名为“Extended reality for moving platforms”和“Inertial data management for extended reality for moving platforms”的专利申请中，团队就介绍了用于检测和解释移动平台运动的方法和系统。前一份专利主要介绍了整体的系统和方法，而后一份专利则主要介绍了相关的惯性测量数据管理。
简单来说，电子设备可以综合包括惯性测量数据等各种传感器数据来确定自己位于一个正在移动的平台，并相应地调整虚拟内容的显示，从而提供稳定的沉浸式体验。
更具体来说，电子设备从自己检测到的运动中减去移动平台的运动，以便系统可以根据电子设备本身的相对运动来提供精确的虚拟对象渲染。对于减去移动平台的运动，可以通过两种方式实现：由诸如汽车和火车等移动平台本身搭载的运动传感器提供相关数据；电子设备使用经过训练的机器学习模型，并基于传感器和摄像头图像数据来进行判断处理。
图2描述了用于实现上述解决方案的示例架构。在图2的示例中，电子设备包括提供传感器数据的传感器129，提供图像数据的摄像头119，以及根据传感器数据和图像数据检测运动的运动与对象检测引擎220。
运动和对象检测引擎220可以使用来自传感器129和摄像头119的数据来对电子设备100a的部分或全部物理设置进行分析。运动和对象检测引擎200可以检测电子设备100a的运动，并检测电子设备100a的平移运动和/或的旋转运动。
运动和对象检测引擎200可以进一步检测和/或识别电子设备100a所在物理设置中的一个或多个物理对象。运动和对象检测引擎200可以进一步根据相对于物理对象的位置变化而确定自己是否位于一个移动平台。
如图2所示，在一个或多个实施例中，运动和对象检测引擎200可以从一个或多个外部传感器250接收传感器数据。例如，外部传感器250可以是作为移动平台一部分实现的运动和/或位置传感器，例如作为汽车、飞机、火车、船舶或其他移动平台一部分实现的运动和/或位置传感器。
如图2所示，XR应用202可以从运动和对象检测引擎200接收环境信息，并根据环境信息将虚拟内容锚定到特定的位置。
运动和对象检测引擎200、XR应用202和/或XR呈现引擎223可以基于检测到的电子设备运动来确虚拟内容的锚定位置。例如，电子设备100a（运动和对象检测引擎200）可以使用传感器129和/或摄像头119）中的一个或多个来识别电子设备100a的设备运动。
在一个实施例中，可以使用移动平台和电子设备本身的摄像头和/或传感器来检测相应运动的第一component和第二component。在一个或多个实现中，第一component可指代移动平台的运动。其中，移动平台的传感器可以直接向电子设备提供第一component/平台运动，以便所提供的平台运动可以从设备传感器和/或摄像头指示的运动中移除。在一个或多个实现中，第二component可指代用户在移动平台行走或以其他方式移动引起的运动。
在一个或多个其他实施例中，可以仅使用来自电子设备的摄像头和/或传感器的数据来检测第一component和第二component。例如，摄像头119和/或传感器129捕获的图像和/或传感器数据可以提供给一个或多个经过训练以识别平台特定运动的机器学习模型，例如从图像和/或传感器中识别与飞机、火车、公共汽车、汽车、船艇、高尔夫球车、自行车或其他类型平台相对应的振动、速度、加速度等。
机器学习模型可以训练为直接输出设备运动的估计第一component和第二component。例如，机器学习模型可指示设备运动包括指示列车运动的高速率运动，而机器学习模型的输出可指示系统应该忽略设备运动的高恒定速度component ，并且设备的加速计可继续用于追踪设备运动的第二component 。
电子设备100a可确定相对于移动平台固定的锚定位置。所确定的锚定位置可由XR应用202和/或XR呈现引擎223确定和/或使用，并用于根据与第一component分离后的第二component来显示虚拟内容。例如，设备运动的第二component可用于追踪电子设备100a相对于锚定位置的位置。然后，虚拟内容可以锚定到相对于移动平台固定的锚定位置，并通过使用XR渲染引擎223渲染锚定到锚定位置的虚拟内容。
在图3的示例中，诸如电子设备100a的物理环境设置300包括移动平台304。例如，移动平台304可以实现为车辆、火车、船艇、飞机等可以移动的平台。在图3的示例中，移动平台304在物理设置300中以相对于物理地面302的运动322移动。
在图3的示例中，虚拟对象320由电子设备100a渲染和显示，以便在电子设备100a的用户看来，虚拟对象320正在以与移动平台的运动322相等的运动322移动，亦即呈现一种类似于站在静止平台时的稳定体验。
在一个实施例中，电子设备100a可以确定自己位于移动平台，然后经过一定的调整和处理而在移动平台304的静止位置稳定地显示虚拟对象320。
电子设备100a可以追踪并从检测到的电子设备运动中减去移动平台的运动322，从而说明与移动平台运动322相等的电子设备运动322。
电子设备可以使用惯性测量传感器IMU来确定电子设备正在与移动平台304一起移动，电子设备100a可以使用电子设备的光学传感器和/或深度传感器继续追踪电子设备的运动，同时在检测到平台相关运动之后停止使用部分或全部IMU数据。
电子设备100a可以使用从移动平台本身接收的信息来追踪移动平台304的运动，例如通过移动平台本身搭载的传感器129。来自传感器129的数据可包括指示平滑连续加速、减速或恒定运动的传感器数据。例如，对于诸如汽车、公共汽车、火车、飞机等移动平台，传感器数据可指示不同于由人类产生运动引起的运动数据的特征。一旦确定了移动平台的运动322，就可以从检测到的设备运动中移除所述运动，并允许设备根据设备的相对运动来在何处和/或如何显示虚拟内容，例如虚拟对象320。
在一个或多个实施方案中，电子设备100a的传感器129包括光学传感器、深度传感器和IMU。设备运动最初可通过IMU识别。如果使用IMU确定的设备运动确定为包括由于电子设备与移动平台304耦合而产生的运动，则可以使用光学传感器和深度传感器显示虚拟内容。
在图3的示例中，电子设备100a的运动322与移动平台304的运动322相同，并且完全由于移动平台304的运动322。例如，即使系统相对于物理地面302移动，但电子设备100a相对于移动平台固定或静止。但在其他场景中，除了由于移动平台的运动而产生运动之外，电子设备100a同时可以相对于移动平台移动。
例如，图4示出了电子设备100a以运动400移动的场景。所述运动400包括第一component（由于移动平台304的运动322而产生的运动322）和第二component （附加运动402）。附加运动402可由例如电子设备100a的用户在移动平台行走或以其他方式移动引起。
在一个或多个实施例中，可以使用光学传感器和/或深度传感器检测和/或追踪附加运动402。这样，即便电子设备以运动322和附加运动402在物理设置300内移动，系统都可以在移动平台的固定位置显示虚拟对象320。
在一个或多个实施例中，位于移动平台的电子设备100a可使用第一SLAM系统追踪移动平台304的运动。第一SLAM系统可以包括一个或多个传感器，和/或移动平台本身搭载的一个或多个附加传感器。一个或多个附加传感器可配置为向电子设备的一个或多个处理器提供平台运动信息。
图5示出了虚拟对象320锚定到移动平台304的物理对象500的示例。如图所示，物理对象500以与移动平台304的运动322相等且由其引起的运动322移动。例如，物理对象500可以是移动平台本身的结构部分，或者可以是位于移动平台之上、之内和/或机械连接到移动平台的对象。在一个实施例中，物理对象500可以是火车上的座椅。
在一个或多个实施例中，电子设备100a可以通过一个或多个传感器检测诸如物理对象500，并将虚拟内容锚定到检测到的对象，从而将虚拟对象320锚定到相对于移动平台304固定的锚定位置。在将虚拟内容锚定到检测到的对象之前，电子设备可以确定对象具有与移动平台304的运动322相等的运动322。
在图5的示例中，虚拟对象320锚定到的物理对象500在移动平台上为静止。然而，在其他场景中，物理对象500可能正在相对于移动平台移动。例如，物理对象500可以是由在移动平台移动的另一个人所持有的对象。在各种示例场景中，虚拟对象320锚定到的物理对象500可以开始相对于移动平台304移动。在移动平台上的物理对象开始移动的场景中，诸如电子设备100a之类的电子设备可以检测对象相对于移动平台和相对于电子设备的运动，并且可以基于检测到的对象的运动和/或基于与移动平台引起的运动分离的电子设备的运动，继续将虚拟内容锚定到对象。例如，当桌子由于道路颠簸而移动时，锚定在物理桌子的虚拟杯子可以保持锚定在物理桌子上。
相关专利：Apple Patent | Inertial data management for extended reality for moving platforms
相关专利：Apple Patent | Extended reality for moving platforms
名为“Extended reality for moving platforms”和“Inertial data management for extended reality for moving platforms”的苹果专利申请都是在2021年9月提交，并在日前由美国专利商标局公布。需要注意的是，这只是专利申请，不确定具体的应用效果。
