苹果申请与工业增强现实摄像头系统相关专利
查看引用/信息源请点击:patentlyapple
苹果主要描述了可用于建筑设计原型、汽车制造等的投影AR应用程序。
(映维网 2021年03月12日)美国专利商标局日前发布了苹果首个与工业增强现实摄像头系统相关的专利申请。所述发明涉及在真实环境中将数字信息投射到物理对象的方法和系统。苹果主要描述了可用于建筑设计原型、汽车制造等的投影AR应用程序。
苹果在专利背景中指出,增强现实系统可以通过计算机生成的数字信息来直接、直观地增强真实环境。例如,这种数字信息可以是用于增强真实环境视图的虚拟信息。典型的应用通常称为基于投影仪的AR、投影式AR或空间AR。
数字信息可以是任何类型的可视数据,例如对象、文本、图形、视频或它们的组合。通过使用投影仪将计算机生成的数字信息投影到真实环境的物理对象表面或真实环境的一部分,可以实现对真实环境的直接增强。
投影AR具有大量的应用,如建筑设计原型设计、汽车制造、新型计算机用户界面开发的普适计算、信息显示等。这种技术在业界同时会称为“投影式增强现实或空间增强现实”
为了实现投影式视觉数字信息和真实对象之间的理想对齐,必须知道真实对象与投射数字信息的投影机之间的空间变换。所以,系统通常会执行校准过程,并基于2D-2D、3D或3D对应关系来估计空间变换,这是建立投影式AR系统的一个挑战性步骤。这种校准程序通常需要摄像头。
为了计算投影仪与真实对象之间的空间变换,业界提出并发展了众多标定方法。一个示例描述了一种使用摄像头和投影仪在汽车表面显示汽车视觉数据的方法。
摄像头和投影仪应刚性耦合,以便对其进行一次校准,然后假定投影仪和汽车的相对空间位置和方向(通过处理摄像头获取的视觉数据计算得出)。
摄像头检测附着在汽车的视觉标记,以估计摄像头和汽车之间的空间变换。这样就可以确定投影仪和汽车之间的空间变换。所述方法的一个问题是,标记相对于汽车坐标系的位置和方向必须进行事先测量。
Extend3D是一种商业投影AR系统,它主要是通过刚性耦合到投影仪的摄像头传感器来追踪一组标记。
在真实环境中把数字信息投射到真实对象的系统
苹果的发明主要描述了在真实环境中将数字信息投射到真实对象的方法,其包括:使用可见光投影仪将数字信息投射到真实对象或真实对象的一部分之上;使用摄像头并以投影数字信息拍摄真实对象的至少一个图像的;提供在摄像头中注册的深度传感器,深度传感器捕获真实对象或真实对象的一部分的深度数据;基于至少一个图像和深度数据计算可见光投影仪与真实对象之间的空间变换。
根据另一方面,专利描述了一种用于在真实环境中将数字信息投影到真实对象的系统,。所述系统包括在真实环境中将数字信息投影到真实对象或真实对象的一部分之上的可见光投影仪、拍摄真实对象的至少一个图像的摄像头、与摄像头注册并用于捕捉真实对象或真实对象一部分的深度数据的深度传感器、以及配置成根据至少一个图像和深度数据计算可见光投影仪和真实对象之间的空间变换的处理器。
根据一个实现,在优选实施例中,所述方法包括根据真实对象的已知3D模型估计RGB-D摄像头系统和真实对象之间的空间变换;计算投影仪的固有参数,以及根据使用投影仪将一个或多个视觉图案投影到真实对象或真实对象一部分表面的一个或多个视觉图案来计算投影仪和真实对象之间的空间变换;并使用RGB-D摄像头系统捕获投影视觉图案的深度映射。
专利列出的发明人之一是曾供职于英特尔的计算机视觉机器学习高级工程经理塞利姆·本海梅尼(Selim BenHimane)。另一位发明人则是机器学习高级经理丹尼尔·库兹(Daniel Kurz),而他是苹果收购Metaio后加入公司。这项专利似乎最初来自于Metaio。
考虑到这是一项专利申请,目前尚不清楚苹果是否会或将于何时商业化所述的发明技术。