高通专利探索用电脑、手机等设备协助AR/VR头显追踪对象

查看引用/信息源请点击:映维网Nweon

协作式追踪

映维网Nweon 2022年12月27日XR设备可以执行诸如手部追踪这样的对象追踪任务。然而,如果用户的手部离开传感器的视场或者出现遮挡,则手部追踪将无法正常工作。另外,对象追踪是一个高计算成本的过程,可以快速耗尽XR设备的电量。

针对这个问题,高通在名为“Collaborative tracking”的专利申请中提出,可以利用第三方设备来帮助执行追踪任务。简单来说,如果XR设备由于各种问题而无法继续执行手部追踪等任务,则可以由具有追踪传感器的家用安全摄像头、笔记本电脑、智能手机、智能电视和第三方XR设备等来为XR设备提供追踪信息,从而实现一种协作式追踪。例如,摄像头正对着XR设备用户的家用安全摄像头可以追踪用户的手势,并将相关信息传输给XR设备。

这份发明主要描述了成像设备(例如XR设备)使用来自一个或多个第三方设备的一个或多个数据流。

图5是示出了用户佩戴头显的透视图。头显的第一摄像头和/或第二摄像头可用作XR系统的传感器。头显的视场520表示第一摄像头和/或第二摄像头的视场。头显的视场520使用虚线示出。用户的手525位于传感器视场520之中,所以头显的XR系统能够检测、提取和/或追踪用户手部525相对于真实世界环境的特征,从而识别用户手部525的姿态。

基于手525的姿态,头显可以确定基于姿态的用户输入,例如用于控制头显的用户界面的操作。

在另一示例中,头显可以基于确定的手势来确定虚拟对象的显示位置。在一个示例中,虚拟对象可以是剑,并且呈现成如同由用户真实手部525握住一样。虚拟对象的位置和方向取决于手525的姿态。

图6A示出了用户佩戴头显的另一透视图。头显的视场620使用虚线示出。由于用户的手525不在头显的视场620中,所以,头显无法识别和/或追踪手525在图6A中的位置。

当出现这种情况时,可以利用高通提出的协作式追踪方法,请求第三方设备提供追踪帮助。

在一个示例中,检测系统可以确定头显失去对手525的追踪。这时,头显可以向第三方摄像头610发送手部追踪辅助请求640。第三方摄像头610可以是第三方设备的一部分,例如笔记本电脑、智能电视、智能家居设备、移动设备(例如智能手机)、平板电脑或其他第三方设备。

头显可以与第三方摄像头610的设备进行通信协商。作为响应,第三方摄像头610可以将手部追踪数据645作为数据流的一部分发送到头显。手部追踪数据645可以包括由第三方摄像头610的一个或多个传感器(例如一个或更多个图像传感器)捕获的传感器数据。

由虚线描述的615是第三方摄像头610的视场。第三方摄像头610的视场615包括用户325的手525。在一个示例中,手部追踪数据645可以由第三方摄像头610进行部分处理,例如在第三方摄像头610将手部追踪数据646发送到头显的XR系统210之前,可以在第三方设备检测特征、提取特征、追踪特征和/或执行一个或多个其他操作。

通过这种方式,即便手525不在头显的视场620中,但头显依然可以基于手部追踪数据645确定的手势来确定用户正在执行的一个或多个基于姿势的输入。

图6B示出了另一透视图650。其中,由于遮挡情况,头显无法追踪用户的手部。

类似上面的描述,头显可以确定遮挡物660在头显视场670中遮挡了手部525。这时,图6B的头显可以向第三方摄像头610发送手部追踪辅助请求640。头显可以与第三方摄像头610的设备进行通信协商。作为响应,第三方摄像头610可以将手部追踪数据645作为数据流的一部分发送到头显。

在一个示例中,第三方摄像头610可以是独立的摄像头设备,例如家用安全摄像头。在其他示例中,图6A和6B的第三方摄像头610可以是另一头显710(如图7所示)、智能手机或笔记本电脑等等。

图7示出了第三方头显710的透视图700。

头显310可以确定由于各种原因而无法执行追踪任务。例如,图7示出了头显310检测到低电池状态735。

基于头显310检测到电池电量不足状态735的警报730,头显310可以向第三方头显710发送手部追踪740的协助请求。头显310可以与第三方头显710进行通信协商。作为响应,正对头显310的第三方头显710可以将手部追踪数据745作为数据流的一部分发送到头显310。手部追踪数据745可以包括由第三方头显710的一个或多个传感器捕获的传感器数据。

在一个示例中,手部追踪数据745可以由第三方头显710进行部分处理,从而减少头显310的计算资源消耗,。

因为头显310能够将手部追踪任务中的至少一部分卸载到第三方头显710,所以头显310可以减少其电池负载并延长续航。

在一个示例中,头显310可以采取其他方法来进一步减少电池消耗。例如,关闭或以其他方式禁用其摄像头和/或其他传感器;又或者是降低来自其传感器的传感器数据的捕获质量或速率,例如从90fps图像捕获降低到30fps捕获。在一个示例中,头显310可以部分或完全依赖于第三方头显710的摄像头和/或其他传感器。

相关专利Qualcomm Patent | Collaborative tracking

名为“Collaborative tracking”的高通专利申请最初在2021年6月提交,并在日前由美国专利商标局公布。

本文链接https://news.nweon.com/103870
转载须知:转载摘编需注明来源映维网并保留本文链接
入行必读AR/VR——计算机历史第二次大浪潮
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供

更多阅读推荐......

资讯