Magic Leap专利探索通过『合并映射』构建更精确跨现实系统
扫描环境以生成精确映射
（映维网 2021年08月25日）XR系统可用于多种用例，例如科学可视化、医疗培训、工程设计与原型制作、远程操作和个人娱乐等等。与VR不同，AR可包括一个或多个与物理世界真实对象相关的虚拟对象。虚拟对象与真实对象交互的体验能够极大增强用户体验，而这同时又为各种应用打开了大门。
[0005]为了真实地呈现虚拟内容，XR系统可以构建系统用户周围物理世界的表示。例如，可以通过可穿戴设备的传感器来获取关于周围物理世界的图像，并相应地构造其数字表示。在这样的系统中，用户可以通过扫描物理环境来执行初始化例程，直到系统获得足够的信息来构建环境表示。当系统运行且用户在环境中移动或移动到其他环境中时，可穿戴设备的传感器可以获取额外信息以扩展或更新物理世界的表示。
在日前由美国专利商标局公布的两份专利中，Magic Leap就描述了这样一种扫描环境以生成精确相关映射的跨现实系统。其中，“Cross reality system for large scale environments”主要描述了大致的过程，而“Cross reality system with accurate shared maps”则主要描述了所述过程中的合并映射步骤。
一个实施例包括配置为在跨现实系统内操作的电子设备。所述电子设备包括设备坐标帧。所述电子设备包括一个或多个传感器，所述传感器配置为捕获关于三维环境的信息，而且所捕获的信息包括多个图像。所述电子设备同时包括至少一个处理器，处理器配置为执行计算机可执行指令。计算机可执行指令包括以下指令：从三维环境的多个图像中的一个或多个提取多个特征；对于每个提取的特征，通过网络向定位服务发送表示所述特征的信息；以及从定位服务接收将设备坐标帧与第二坐标帧相关联的至少一个转换。
在一个实施例中，电子设备包括显示器。计算机可执行指令包括用于呈现虚拟内容的指令。所述虚拟内容具有在第二坐标帧中指定的位置，所述位置至少部分地基于至少一个变换的变换而计算。
在一个实施例中，从至少两个传感器捕获的多个图像中提取多个特征。
在一个实施例中，至少两个传感器中的每一个都与各自的传感器坐标系相关联。计算机可执行指令包括用于将从提取特征从相应的传感器坐标帧转换为设备坐标帧的进一步指令。
在一个实施例中，一个或多个传感器具有各自的传感器坐标帧。计算机可执行指令包括用于基于一个或多个传感器在电子设备的位置来计算传感器坐标帧的指令。
在一个实施例中，电子设备包括显示器。计算机可执行指令包括用于基于一个或多个传感器相对于显示器的位置计算传感器坐标帧的指令。
在一个实施例中，所述方法可包括从电子设备接收追踪映射，其中所述追踪映射相对于重力方向对齐；确定追踪映射和环境映射之间的转换；确定是否将环境映射与追踪映射合并，其中确定是否合并包括确定将变换应用于追踪映射是否产生相对于重力方向对齐的变换追踪映射；以及基于确定变换后的追踪映射与重力方向对齐，将环境映射与追踪映射合并。
根据一个实施例，确定转换可包括，对于追踪映射和环境映射中的对应特征，选择与误差度量低于阈值的对应特征对齐的转换作为确定的转换。
根据一个实施例，所述方法可进一步包括基于分配给特征的标识符的相似性来确定相应特征。根据一个实施例，选择作为确定的变换同时可包括选择变换，所述变换在应用时产生相对于重力方向对齐的变换追踪映射。
根据一个实施例，确定变换可以包括将多个候选变换应用于追踪映射，并选择多个候选变换的候选变换作为确定的变换。
根据一个实施例，选择确定的变换同时可以包括选择候选变换作为确定的变换，所述候选变换在应用时产生相对于重力方向对齐的变换追踪映射。
根据一个实施例，所述方法同时可包括从数据库中识别一组环境映射，以与追踪映射合并；以及对于环境映射集中的每个环境映射：确定追踪映射和环境映射之间的转换；确定是否将环境映射与追踪映射合并；以及基于确定变换后的追踪映射与重力方向对齐，将环境映射与追踪映射合并。
根据一个实施例，所述方法可包括针对环境映射集中的每个环境映射：基于确定环境映射的重力方向与变换后的追踪映射的重力方向不对齐，避免将环境映射与追踪映射合并。
根据一个实施例，识别环境映射集可包括确定与追踪映射相关联的区域标识符；以及至少部分地基于与追踪映射相关联的区域标识符从数据库识别环境映射集。
根据一个实施例，从数据库识别环境映射集同时可以包括基于与追踪映射和环境映射集中的环境映射相关联的一个或多个度量的相似性来过滤环境映射集。
在一个实施例中，系统包括配置为从电子设备接收关于环境特征信息的通信组件；以及耦合到所述通信组件的定位组件。所述定位组件配置为：将所接收的特征的集合与持久化映射的数据库中的持久化特征相匹配，以提供成对的匹配特征，每对匹配特征包括所接收的特征和持久化特征。计算匹配特征对的质量度量，质量度量表示匹配特征在3D环境中表示相同特征的可能性。基于匹配的对应关系和为匹配的对应关系计算的质量度量，生成电子设备的设备坐标帧和持久化映射的规范坐标框之间的转换。
在一个实施例中，定位组件同时配置为向电子设备发送转换。在一个实施例中，通信组件同时配置为从电子设备接收特征集合的特征定位信息。在一个实施例中，定位组件配置为计算特征集合的特征的定位信息。
在一个实施例中，定位组件包括姿势估计组件，其配置为生成电子设备的设备坐标帧和持久化映射的规范坐标帧之间的转换。在一个实施例中，姿势估计组件配置为基于计算出的匹配对应的质量度量来选择匹配特征的子集。
在一个实施例中，姿势估计组件配置为基于所选子集生成变换。在一个实施例中，定位组件包括人工神经网络，所述人工神经网络配置为计算匹配特征的质量度量。
在一个实施例中，可以训练神经网络，以支持指定虚拟内容相对于持久化映射数据库中的持久化映射位置的XR系统。所述方法包括接收一组成对的匹配特征，每对匹配特征包括第一坐标帧中的2D特征、第二坐标帧中的3D特征，以及ground truth值权重，其指示投影到第一坐标帧的三维特征和第一坐标帧中的二维特征之间的位置误差；预测匹配特征对集合的质量度量；基于ground truth值权重和估计的质量度量计算损失；并根据计算出的损耗对神经网络进行修正。
相关专利：Magic Leap Patent | Cross reality system for large scale environments
相关专利：Magic Leap Patent | Cross reality system with accurate shared maps
名为“Cross reality system for large scale environments”和“Cross reality system with accurate shared maps”的Magic Leap专利申请最初都是在2021年2月提交，并在日前由美国专利商标局公布。
