高通专利为AR/VR面部追踪提出可调节升降摄像头设计
类似于智能手机的升降摄像头设计
（映维网Nweon 2023年08月31日）XR设备可以通过摄像头捕获的图像或视频帧来执行面部追踪、嘴部追踪、眼动追踪和/或眉毛追踪等等。由于使用了更紧凑的技术，XR设备正变得越来越薄、越来越小。尺寸的减小可能会令特定组件难以集成，例如支持面部追踪算法的面部追踪摄像头。
另外，次优摄像头放置可能导致需要软件算法来抵消捕获数据中的非理想性，而软件算法会增加电子设备的计算负荷。
所以在名为“Adjustable camera system”的专利申请中，高通提出了一种可调节摄像头系统。在一个实施例中，包含所述可调节摄像头系统的可穿戴移动设备可以包括一个头戴式显示器或智能眼镜。
简单来说，高通构思的是一种类似于智能手机升降摄像头的设计。以追踪嘴巴为例，当需要追踪嘴巴时，内缩头显中的摄像头可以从鼻梁左右的位置弹出，并下沉至适当的位置，然后就可以对嘴巴进行成像追踪。当不需要追踪时，摄像头可以回升缩回至头显之内。
摄像头结构可包括一个或多个透镜，一个或多个摄像头传感器，一个或多个发射器，或一个或多个附加传感器和/或设备。
摄像头结构可以在不使用或不需要时设置为缩回状态。在缩回状态下，摄像头结构的至少一部分可缩回/嵌入在所述可穿戴移动设备的外壳内，以在不使用时隐藏摄像头结构。
在使用或需要时，摄像头结构可以设置为展开状态。当摄像头结构设置为展开状态时，摄像头的一个或多个摄像头传感器结构可以捕获图像，例如嘴巴，下巴或鼻子等等。
在展开状态下，摄像头结构可从可穿戴移动设备外壳的底部延伸。例如，摄像头结构可以从外壳的底部延伸并锁定在与可穿戴移动设备的外壳底部表面垂直的位置。
摄像头结构可包括电机，电机可将摄像头结构设置为缩回状态和/或展开状态。电机可以响应一个或多个触发器而激活，触发器包括按下可穿戴移动设备的按钮、来自用户的语音命令、用户的输入手势、摄像头应用程序的输入或状态、应用程序的请求、启动嘴部追踪应用程序和/或操作等。
在部署时，摄像头结构的放置可以产生一个或多个摄像头传感器的理想视场，以允许一个或多个摄像头传感器对用户嘴的一个或多个区域进行成像，并采用有限或最小的软件后期处理。
当所述摄像头结构处于部署状态时，摄像头同时可以允许所述可穿戴移动设备实现较不复杂的追踪算法，并可以简化和/或减少图像数据的后处理，从而降低所述可穿戴移动设备的计算负荷和热负荷等。
例如，摄像头结构可以包括专用的计算机视觉专用集成电路。专用集成电路可以分散XR设备主外壳的热负荷，因为摄像头模块可以提供额外的表面积，从而改善散热。
图1是示出具有结构105的移动设备100的框图。所述结构105可包括照摄像头的图像传感器120。图像传感器120可以包括任何类型的摄像传感器。
所述结构105还可以包括配置成发射光的光发射器115。所述光可以帮助照亮图像传感器120成像或记录的区域。所述光发射器115可位于所述结构105内，使得所述光发射器115发射的光至少部分照亮所述图像传感器120的视场内的一个或多个区域。
所述结构105可以缩回到所述移动设备100的外壳中。当所述结构105缩回到所述移动设备100的外壳中时，所述结构105可称为处于缩回状态。
结构105同时可以从移动设备100的外壳延伸。当结构105从移动设备100的外壳延伸时，可以将结构105称为处于展开状态。结构105的图像传感器120可以配置为在结构105处于展开状态时捕获一个或多个图像。
结构105可以是容纳光发射器115和图像传感器120的臂结构，并且可以在缩回状态和展开状态之间移动。
调整机制110可以包括一个或多个电机（未示出）。所述调整机制110可使用所述一个或多个电机来移动所述调整机制110的一个或多个部件，如一个或多个齿轮或滑轮。
在一个实施例中，电动部件可在缩回状态和伸展状态之间直接移动所述结构105。在其他实施例中，电动部件可以间接地允许结构105在缩回状态和伸展状态之间移动。
例如，通过将遮挡物从第一位置移动到第二位置，所述电动部件可间接地允许所述结构105在收缩状态和展开状态之间移动。在第一位置，可以通过闭塞结构105的路径来防止弹簧或磁铁的推力或拉力移动结构105。在第二位置，可以不再遮挡结构105的路径，并因此允许弹簧或磁铁的推力或拉力移动结构105。
图2A示出上述结构105处于缩回状态。在本例中，移动设备100是头显设备。
外壳200和/或结构105可以包括一个或多个传感器。一个或多个传感器可用于确定移动设备100相对于的用户头部的运动。例如，210可包括检测物理接触的传感器，并可用于确定200和/或210是否从相对于用户头部的一个位置滑动到相对于用户头部的另一个位置。确定200和/或210滑动可用于了解结构105的扩展摄像头的视场调整，以改进追踪和/或处理。
外壳200可包括开口225，以便在结构105处于缩回状态时接收结构105。开口225可位于外壳200的底部。例如，开口225可位于外壳200的同一侧。
开口225的长度可以至少与结构105一样长，以便允许结构105包含在开口225内的水平配置。
在一个实施例中，结构105可以从展开状态旋转或摆动到开口225中，以使结构105处于缩回状态。在这种情况下，当结构105处于缩回状态时，结构105可以水平地位于开口225内。
在其他情况下，开口225可以足够深，以便允许结构105纵向插入到开口225中。例如，开口225可以配置为在结构105的长度方向上完全或至少部分包含结构105。
结构105可包括配置为接收入射光的透镜，透镜可基于结构105的延伸和缩回移动或重新定位。图像传感器120可位于移动设备外壳中的固定位置，并且结构105可包括折叠光学元件，以将来自结构105上的入射透镜的光导向移动设备外壳的图像传感器。
在图2B中，结构105处于缩回状态。移动设备100通过头带220固定在用户的头部230。当结构105处于缩回状态时，结构105可全部或至少部分包含在开口225内。结构105可以从缩回状态扩展到展开状态，以允许结构105的图像传感器120捕获用户口腔区域的图像或视频帧。在展开状态下，可以对结构105的图像传感器120进行定位，使得用户的嘴部区域位于图像传感器120的视场内。
对于图3，在展开状态下，结构105可以从移动设备100的外壳200底部的开口225延伸。在一个实施例中，结构105可以沿着移动设备100的外壳200的横向平面延伸。在其他实施例中，当结构105处于展开状态时，结构105可以延伸/垂直于移动设备100的外壳200的纵轴。
在展开状态下，结构105的图像传感器120的位置/放置可以将用户的嘴300放置在结构105的图像传感器120的视场内。这可以允许图像传感器120捕获嘴300的图像和/或视频帧，检测嘴300的运动，检测嘴300的姿态、表情等。
移动设备100可以使用来自麦克风的信号来自动伸展或缩回结构105。例如，来自麦克风的信号可以表明用户正在说话。移动设备100可以使用来自麦克风的信号来确定用户正在说话，并且作为响应，移动设备100可以自动将结构105移动到展开状态。
所述移动设备100可使用所述麦克风检测沉默，并且作为检测沉默的响应，所述移动设备100可将所述结构105缩回至所述缩回状态。
在一个实施例总，当所述结构105处于展开状态时，移动设备100可以检测所述移动设备100是否由用户正确佩戴，和/或所述图像传感器120是否正确定向。
例如，如果移动设备100处理由图像传感器120捕获的图像或视频帧，并确定图像或视频帧不包括嘴300，则移动设备100可以通知用户，表明移动设备100和/或图像传感器120没有正确定向。
由于当结构105处于延伸状态时，图像传感器120可以具有相对于外壳200的固定位置，因此，如果结构105处于延伸状态并且移动设备100适当地定向，则移动设备100可以期望由图像传感器120捕获的图像或视频帧将包括嘴300。
因此，如果移动设备100处理图像传感器120捕获的图像或视频帧，并在图像传感器120捕获的图像或视频帧中检测到用户的前额，则移动设备100可以通知用户移动设备100和图像传感器120没有正确定向。
在一个实施例中，来自移动设备100的通知包括用户可以执行的推荐操作。例如，通知可以建议关闭图像传感器120和/或将结构105移动到缩回状态，以避免图像传感器120在图像传感器120无法捕获嘴300的图像或视频帧时不必要的功耗。
当移动设备100检测到移动设备100和/或结构105的方向/位置不正确时，可以自动执行建议的操作。例如，移动设备100可以自动关闭图像传感器120和/或将结构105移动到缩回状态，以避免图像传感器120在图像传感器120无法捕获嘴300的图像或视频帧时产生不必要的功耗。
图4示出结构105处于展开状态。结构105可以从外壳200的底部延伸，以允许图像传感器120捕获用户的嘴300的图像和/或视频帧。
当结构105处于展开状态时，图像传感器120可以看到佩戴移动设备100的用户的嘴巴300。所述图像传感器120可面向所述用户的嘴300定位，以具有所述用户的嘴300的视图。图像传感器120可位于用户的嘴300的前面并面向用户的嘴300。
如图所示，结构105的展开状态可以将用户的嘴300放置在结构105的图像传感器120的视场400内。换句话说，当结构105处于展开状态时，图像传感器120的视场400可以包括用户的嘴300。
当结构105处于展开状态时，图像传感器120可以捕获用户嘴巴300的图像和/或视频帧。移动设备100可以使用从图像传感器120捕获的图像和/或视频帧来执行嘴巴追踪。
当结构105处于展开状态时，可基于外壳200和图像传感器120的相对姿态对图像传感器120进行预校准。例如，当结构105处于展开状态时，图像传感器120的位置可用于校准图像传感器120，以允许移动设备100基于图像传感器120在结构105处于展开状态时捕获的图像来精确追踪用户的嘴300。
名为“Adjustable camera system”的高通专利申请最初在2022年2月提交，并在日前由美国专利商标局公布。
