Meta专利介绍使用特征图的AR/VR设备被动再定位技术
被动再定位技术可以大大增强系统的隐私和安全属性
（映维网Nweon 2023年08月28日）当用户在空间中移动时，人工现实系统必须以低延迟提供同步、连续和更新的特征地图，以便为用户提供高质量、沉浸式和愉快的体验。特征地图可以包括包含多层地图数据的特定区域的数字表示。
最有效和最有价值的特征映射必须定期更新，以保持它们所代表的真实环境的准确和最新的表示。更新和维护特定区域地图数据准确性的一种方法是在多个用户之间共享和众包特征地图或部分特征地图。然而，这产生了隐私和安全方面的担忧。
在名为“Methods and systems to facilitate passive relocalization using three-dimensional maps”中，Meta介绍了一种使用特征图的人工现实设备被动再定位技术。Meta指出，被动重新定位仅使用接收到的网络传输来确定设备的姿态，以实现映射和定位功能，而不需要从定位设备传输信息。被动重新定位的优势包括大大增强了系统的隐私和安全属性，用户信息永远不会传输到第三方或在云中聚合。
在一个实施例中，可以将特征图划分、存储和传输为包含所述特征图所覆盖区域的一个或多个子区域的一个或多个地图包的序列，以促进更有效地共享和优化定位。通过划分为与特定子区域相对应的地图包，可以减少存储需求，提高定位的准确性和速度。
在一个实施例中，可以确定每个地图的地理子区域的特定大小，以便人工现实设备具有用于定位的优化的有界搜索空间。由于位姿优化的计算量很大，因此必须限制搜索空间以提供搜索优化的边界。例如，可以改变特定地图包所包含的子区域的大小，以减少设备的搜索区域。
如果子区域太大，设备将不得不存储大量的地图数据，并且可能需要更长的时间来定位设备。另外，随着特征图面积的增加，姿态的精度可能会降低。地图包可以进一步包含与地图包相关的元数据，允许接收设备在不完全分析的情况下识别特定地图包中包含哪些信息。
在一个实施例中，多个地图包可以生成具有不同级别的细节。不同细节的地图包可以广播同一地理区域或子区域。为具有不同详细程度的同一区域或子区域提供地图包的一个优点是，能够根据特定设备所需的定位精度级别定制数据传输。
例如，如果用户正在执行的特定人工现实设备或应用程序只需要粗略的姿态，则设备可以下载一个低细节，对特定子区域具有较少的特征描述符的粗略地图包，从而节省计算资源并允许更快的定位。
如果用户正在执行的特定人工现实设备或应用程序需要精确的姿态，则设备可以下载一个高细节，并具有针对特定子区域的更多特征描述符的精细地图包，从而允许更慢，但更准确的定位。
在具体实施例中，可以为不同地理大小的子区域生成具有不同细节的地图包。这允许每个地图包的文件大小不变，而不考虑特定地图包所覆盖的地理区域。例如，可以为100 m × 100 m子区域生成粗细节地图包，并为较小的子区域生成精细细节地图包，例如，10 m × 10 m子区域是粗细节地图包的100 m × 100 m子区域的子区域。
图2示出了一种通过特征图的单向传输促进被动再定位的系统。服务器210可以包括作为中央存储库的一个或多个服务器或计算设备。
系统同时可以包括地图分发基础设施。地图分发基础设施包括一个或多个基站220A-C，后者配置为通过一个或多个无线电频率的无线信号广播和分发地图包。与其他双向通信相比，使用无线电频率的优点包括更远的范围，不需要时间分配，没有视线要求。
服务器210可以编程为确定用于特定基站的广播时间表或序列，并将特定的广播指令发送到每个基站。例如，服务器可以确定并向基站发送指令以以特定信号频率发送地图包，特定基站应以特定顺序广播一组特定地图包，或特定基站应以多个频率同时广播多个地图包。
一个或多个地图包可以通过一个或多个基站220A-220C在空中广播到一个或多个人工现实设备230A-230F。基站能够广播多个基线以分发地图包、定向并行传输和多通道传输。
所广播的信号的具体频率可以根据地图区域的地理大小、地图包的数据大小等来改变，而这决定了基站220A-C所广播的信号的性质。
例如，如果基站广播的每个单独的地图包包含大量数据，则需要更大的频率进行广播，以确保有足够的带宽在合理的时间内传输地图包。
如果某一特定基站所覆盖的地理区域很大，则可能需要较低的频率以确保足够的信号传播，以从所述特定地理区域内的任何地方接收到地图包。
图3示出特征图300的地理区域，并将其细分为特定子区域310A-310D的地图包。在特定实施例中，基站可负责广播与基站所在的特定区域相对应的地图包。
如图3所示，基站320A可广播用于子区域310A的单个地图包，基站320B可广播用于子区域310B的单个地图包，基站320C可广播用于子区域310C的单个地图包。
或者，每个基站可以广播与基站所在的特定区域和附近相邻区域相对应的多个地图包。例如，基站310B可以广播用于子区域310A和相邻子区域310B- 310d的一系列地图包。当一个或多个子区域不包括基站时，例如如图3所示的子区域310D，这特别有益，因为所述方式可以实现完全覆盖，而不需要在每个特定的子区域建立基站。
在特定实施例中，当由单个基站广播多个地图包时，可以以特定顺序广播地图包，从而允许人工现实设备预测何时由特定基站广播与用户相关的地图包。例如，基站320A负责播放一系列地图包310A - 310D，基站320A可以按特定顺序播放地图包，例如顺时针播放或逆时针播放。
人工现实设备可以智能地预测何时播放特定的地图包。例如，如果设备当前位于NW子区域310A中，则该备可以使用特定序列大约知道何时与基站320A建立信道通信，从而接收NW子区域310A地图包。
在特定实施例中，可以协调附近或相邻的基站，使得每个基站在任何给定时刻广播一系列地图包中的不同地图包。例如，如果每个基站320A-320C正在广播一系列地图包，则在特定时间，基站320A可以广播用于子区域310A的地图包，基站320B可以广播用于子区域310B的地图包，基站320C可以广播用于子区域310D的地图包。
因此，如果各基站按顺时针顺序广播，则在后续时间基站320A可以广播子区域310B的地图包，基站320B可广播子区域310D的地图包，基站320C可广播子区域310A的地图包。
这种协调允许更容易地访问地图包，特别是对于位于特定位置的人工现实设备，这样它们就可以与多个基站建立信道通信。
在一个实施例中，特定基站可进一步利用多个频率来同时广播多个地图包。如图3所示，基站320A可以在第一频率上广播子区域310A的地图包，同时在第二频率上广播子区域310B的地图包。
又如，320A站可在第一频率上广播310A子区域的粗细节图包，同时在第二频率上广播310A子区域的细细节图包。在本例中，可以以比粗细节地图包更高的频率广播细细节地图包，以确保有足够的带宽用于较大尺寸的高细节地图包。这种多频率方法的另一个优点是能够以较低的频率广播粗略的地图包，从而在更大的距离上传播，而高细节地图包可以以更高的频率广播，并用于更本地化的应用程序。
在特定实施例中，接收人工现实设备可以确定需要哪些特定地图包来执行定位。作为示例，设备可以基于设备的未来位置预测相关的地图包，并使用设备的最后已知位置，设备的过去位置历史，设备的传感器数据)，或用户操作或查询。
另一个例子是，设备可以下载元数据或粗地图包来执行粗略定位，以确定粗略包中与周围真实环境的捕获图像相匹配的数量，从而确定哪些地图包可能最相关。基于信息，设备可以过滤一个或多个地图包，以识别在定位过程中可能产生最准确的设备姿态的一个或多个地图包。
这允许设备通过确定和等待广播相关的地图包来节省电力，而不必与一个或多个基站建立持久的信道通信。
在具体实施例中，接收人工现实设备可以确定何时计划播放特定地图包并应从特定基站下载。单向通信防止设备向基站或服务器发送针对特定地图包的查询或请求。因此，如果设备不知道特定基站广播的地图包的特定序列，设备将需要持续监控、下载和存储所有广播的地图包，这需要大量的计算资源。
可以采用各种技术来确定何时广播有关的地图包，以便接收和下载。作为示例，设备可以基于信号强度智能地优先考虑附近基站的监控信道，因为具有较强信号的基站更有可能在附近，并且由于物理接近而具有更大的概率携带更靠近设备的特征描述符。
作为另一示例，所述人工现实设备可以与指示特定基站地图包的特定序列或广播时间表的元数据文件一起接收，所述元数据文件允许所述设备对特定基站的广播进行优先排序和监视，以便在适当的时间获得特定地图包。这减少了从基站持续监视和下载所有广播地图包所需的计算资源。
在特定实施例中，一旦客户端设备确定并下载了与设备定位相关的特定子区域的一个或多个地图包，则设备可以在设备上执行定位以确定设备的当前姿态。在确定和下载应该使用的地图包之后，搜索空间可以限制在由特定地图包定义的地理子区域。
理想情况下，设备可以确定最可能产生准确姿态的地图包，从而限制地理搜索区域。随着地理子区域的增加，用于执行定位的优化算法或其他技术可能需要额外的时间，消耗额外的计算资源，并且由于更大的搜索区域而输出不太准确的姿态。
因此，限制搜索区域可以更快、更准确地定位设备。
为了确定姿态，设备可以使用与该设备相关联的一个或多个摄像头捕捉设备周围真实环境的图像。使用所述图像，设备可以为该图像生成一个或多个特征描述符，并将所生成的特征描述符与从地图包接收的一个或多个特征描述符进行比较，从而找到一个这样视点：其中所接收的地图包中的特征描述符似乎与所生成的特征描述符相匹配。
图4示出用于广播可由人工现实设备用于确定所述人工现实设备的姿态的地图包序列的示例方法400。
在步骤410，计算系统可以访问真实环境区域的地图数据，所述地图数据包括描述在真实环境中可见的特征的三维特征描述符。
在步骤420，计算系统可以根据地图数据生成多个地图包。
在步骤430，计算系统可以通过一个或多个基站广播多个地图包的序列。
相关专利：Meta Patent | Methods and systems to facilitate passive relocalization using three-dimensional maps
名为“Methods and systems to facilitate passive relocalization using three-dimensional maps”的Meta专利申请最初在2022年1月提交，并在日前由美国专利商标局公布。
