微软专利探索用外设眼镜盒帮助AR眼镜执行高精度深度测量
利用外设（眼镜盒）来帮助诸如AR眼镜等设备执行高精度深度测量的方法
（映维网Nweon 2022年12月19日）深度感知数据对于AR/VR设备非常重要。例如，AR头显主要利用深度信息来显示关于真实世界环境的全息图。例如，AR头显可以利用飞行时间（ToF）或结构光深度摄像头等直接测量深度传感器来测量到环境物体的距离。然而，由于ToF摄像头或结构光深度摄像头可能比感测二维强度图像的摄像头更大，所以采用诸如眼镜等较小形状参数的其他头戴式设备会采用立体摄像头布置，亦即定位在间隔开位置的一对二维摄像头，并通过执行三角测量来确定深度。
然而，立体深度测量对立体摄像头的位置和取向的变化敏感，一个摄像头相对于另一个摄像头的位置和/或方向的偏差可能导致错误的深度测量。
在名为“Depth sensing via device case”的专利申请中，微软就提出一种利用外设来帮助诸如AR眼镜等设备执行高精度深度测量的方法。有趣的是，微软描述的外设可以是用来装AR眼镜的眼镜盒。换句话说，用于装AR眼镜的眼镜盒可以搭载一系列的传感组件，并作为一种外设捕获深度信息。例如下面的图6所示。
图6示出了第一用户600和第二用户602参与全息通信会话的场景。第一用户600位于第一真实世界环境604中并佩戴第一AR眼镜606。第二用户602位于第二真实世界环境608中并佩戴第二AR眼镜 610。
用于第一AR眼镜606的第一外设612定位为捕获包括第一用户600的深度图像的深度数据，以及包括第一用户的可见图像的纹理数据，纹理数据映射到深度数据，使得纹理数据可以应用到深度数据以生成第一用户614的全息图，并经由第二AR眼镜610显示给第二用户602。
用于第二AR眼镜610的第二外设616同理，使得第一AR眼镜610可以显示第二用户602的全息图。
图2示出了包括头显202和外设204的示例系统200框图。头显202可包括深度传感器，例如立体摄像头系统206。头显204同时包括透视显示系统208、第一通信系统210和第一计算系统212。第一计算系统212配置为经由透视显示系统208控制图像的显示，并经由第一通信系统210控制与外设204的通信。在一个实施例中，外设204和头显202彼此直接通信。在其他示例中，外设204和头显202经由网络214通信地耦合。
外设204包括直接测量深度传感器216、第二通信系统218和第二计算系统220。第二计算设备220配置为控制直接测量深度深度传感器216以获取真实世界环境的深度数据222，并控制第二通信系统218将深度数据222发送到头显202。然后，头显202可以至少基于由直接测量深度传感器216输出的深度数据222来显示全息图。
在一个示例中，外设同时可包括红/绿/蓝（RGB）图像传感器224。RGB图像传感器可用于获取用于纹理映射的图像数据，如纹理数据226所示。这类纹理映射数据可用于全息通信场景和/或其他可能场景。头显202和/或外设204中的每一个可以可选地包括麦克风228、230。麦克风228和/或麦克风230可以被配置为捕获用户的语音以用于通信会话。
系统200可以与远程计算系统240通信。例如，远程计算系统24可以包括服务器，后者配置为基于从外设204接收的深度数据222和/或纹理数据226以及其他可能的功能来生成全息图像。远程计算系统可以促进在用户之间进行全息通信会话和/或各种其他功能。
图3示出了示例性的眼镜设备300。眼镜设备300包括框架302、第一摄像头304、第二摄像头306、显示器和镜腿部件308A、308B。在所述示例中，显示器包括由框架302支撑的第一显示器310和第二显示器311，其中第一显示器310及第二显示器311中的每一个采用波导的形式，而波导配置为将投影图像传送到用户的相应眼睛。
第一摄像头304和第二摄像头306分别位于框架302的左侧和右侧，其中第一摄像头和第二摄像头中的每一个位于框架之上，与框架的外边缘相邻。第一摄像头304和第二摄像头306可以作为立体相机对操作以进行间接深度测量。
眼镜设备300同时包括第一显示模块312和第二显示模块328，第一显示模块与第一摄像头304相邻，用于显示立体图像的第一图像。每个显示模块可以包括任何合适的显示技术，例如扫描光束投影仪、microLED、microOLED或LCoS。另外，可以使用诸如上述波导、一个或多个透镜、棱镜和/或其他光学元件的各种光学器件来向用户的眼睛递送显示的图像。
图4示出了眼镜盒外设。当用户不使用AR眼镜时，眼镜盒外设可以用来装AR眼镜。外设400包括飞行时间（ToF）摄像头形式的直接测量深度传感器，其包括ToF图像传感器402和ToF照明器404。尽管图4的外设包括单个深度传感器，但在其他示例中外设可以包括两个或更多个深度传感器。
另外，外设可以包括不同于ToF摄像头的直接深度传感器，例如结构光深度摄像头。ToF摄像头配置为通过测量ToF发射器404发射的光信号的往返行程时间来解析ToF图像传感器402的传感器像素与表面之间的距离。
在一个实施例中，外设400包括可选的RGB强度图像传感器406，其可用于例如获取用于纹理映射的图像数据。在一个示例中，ToF摄像头可以包括RGB图像传感器406的方面。在这样的示例中，ToF摄像头可以包含配置为在IR和可见光模式下成像的摄像头，以在RGB成像的强度模式下以及在深度成像的ToF模式下操作。
通过利用外设为AR眼镜提供进一步的深度信息，AR眼镜可以保持较小的形状参数，并依然获得高精度的深度数据。
名为“Depth sensing via device case”的专利申请最初在2021年6月提交，并在日前由美国专利商标局公布。
