Meta AR/VR专利改善运动情景下头显前置摄像头的录制视频对焦

小编广东客 | 分类：专利 | 2023年10月24日

加入映维网会员

产生对焦选定对象的视频，并且可以修改视频帧以改变所捕获的视频的焦点

（映维网Nweon 2023年10月24日）搭载前置摄像头的AR/VR头显一般支持录影。这种功能十分有用，例如学生可以录下老师的授课以供日后复习。然而，当穿戴头显的学生为了记笔记或其他原因而把目光移离黑板时，摄像头会的视场同样会远离黑板。这会导致一个不连贯的视频，并且造成对象在帧内失焦。

所以在名为“Camera system for focusing on and tracking objects”的专利申请中，Meta描述了一种识别、追踪和记录对象的系统。它可以产生对焦选定对象的视频，并且可以修改视频帧以改变所捕获的视频的焦点。

失焦视频可能会显示构图较差的对象，例如超出了距离视频帧中心的阈值距离或完全在视频帧之外。对于生成视频中的每个视频帧，摄像头系统可以修改视频帧，例如通过将捕获的视频裁剪为具有从视频帧中心的阈值距离内的对象的修改的视频帧。

在修改视频帧时，摄像头系统可以选择不包括成像设备捕获的视频帧。摄像系统可以通过从具有第一视场的成像装置切换到具有第二视场的第二成像装置来选择对焦于对象。例如，可以追踪离开第一视场并进入（或重新进入）第二视场的移动对象，并生成具有由多个成像装置捕获的视频帧的视频。

图2示出摄像头系统200。摄像系统200产生对局部区域内所选对象具有焦点的视频。摄像头系统200可以接收局部区域中对象的指示，以聚焦并激活或停用一个或多个成像设备210。

成像设备210捕获包括所述指示对象的局部区域的视频帧。摄像系统200可以修改所述视频帧以聚焦在所述所述对象。

摄像系统200同时包括成像设备210和摄像控制器220。

成像设备210可以是一个或多个广角摄像头。广角摄像头可以是具有47度或更大视场的摄像头。在典型的使用中，广角摄像头可以用来捕捉远处对象的图像。相比之下，视场小于47度的摄像头通常用于捕捉靠近摄像头的对象的图像。

然而，所述成像设备210可以是用于捕获近处对象的广角摄像头。这样，成像设备210可以比非广角摄像头捕获更多的对象周围环境。成像设备210的额外视场允许设备210在不需要移动摄像头的情况下聚焦在附近的移动对象身上。

所述摄像头控制器220配置为激活所述成像设备210并处理所述成像设备捕获的图像或视频帧，以使所述摄像头系统200对所述对象具有焦点。对一个对象进行对焦可能涉及到在视频帧内调整对象的构成，例如将对象保持在视频帧中心的一定距离内。

所述视频帧是由成像设备210记录并用于生成呈现给已请求所述摄像系统200聚焦于对象的用户的视频的内容。在图2实施例中，摄像头控制器220包括数据存储器230、对象选择模块240、视频生成模块250和对象追踪模块260。

数据存储器230存储供摄像头系统200使用的数据。对象选择模块240接收指令以生成对所述对象具有焦点的视频。指令可以由用户指示选择要在视频中作为焦点的对象而生成。

对象选择模块240识别所述对象在成像设备210捕获的视频帧中的位置。一旦对象选择模块240在视频帧中识别出对象，则对象选择模块240定义对象在成像设备210的视场内的位置。

在一个实施例中，可以训练对象选择模块240的对象识别系统以检测特定形状，从而最准确地识别特定形状的对象。例如，可以将对象选择模块240配置为识别人、动物和汽车的形状，以提高识别所述对象的准确性。

在对象离开摄像头系统的视场并重新进入的情况下，可以将对象选择模块240配置为在返回视场时识别对象，例如通过将对象与数据存储器230记录的最近追踪对象进行比较或记录所述对象的标识，从而进行重新对焦。一旦对象选择模块240识别出对象及其在系统视场内的位置，它可以向对象追踪模块260发送指令以聚焦对象。

视频生成模块250通过在视频帧内调整对象的位置来生成视频。所述视频生成模块250可从所述对象选择模块240接收关于所述对象在成像设备210的视场内位置的指示。

视频生成模块240调整所述对象在视频帧内的位置以聚焦于所述对象。调整对象的位置可包括将所捕获的视频修改为对所述对象具有改进焦点的裁剪视频帧。

视频生成模块240选择选择所捕获视频帧的部分保留或截取所捕获视频帧的部分，从而改进对对象的聚焦。所捕获的视频帧的部分可以根据对象与所捕获的视频帧中心的距离来选择移除。视频生成模块250调整所述对象的位置，使得所述对象位于所述视频帧中心的阈值距离内。

视频生成模块250可与对象追踪模块260通信，以确定所述对象是否在视频帧中对焦。视频生成模块250同时可以调整视频帧的大小或分辨率，从而使得视频中的所有视频帧具有相同的大小或分辨率。视频生成模块250同时可以对每个视频帧执行其他类型的调整，例如在视频中不包括特定视频帧。

所述对象追踪模块260确定所述对象在视频帧中失焦。所述对象追踪模块260可通过测量从所述对象到所述视频帧中心的距离来确定焦点。如果所述对象距离视频帧中心超过阈值距离，则所述对象追踪模块识别所述对象为失焦。然后与视频生成模块250通信，以调整对象在视频帧内的位置。

在成像设备210包括多个摄像头的情况下，目标追踪模块260可以指示视频生成模块要激活哪个摄像头并记录视频帧，以基于所述对象或所述头戴式设备的运动使所述对象保持对焦。

所述视频生成模块250响应地激活所述所述摄像头，将所述摄像头捕获的视频帧提供给所述追踪模块260，以确定所述对象是否失焦。如果所述对象失焦，则调整所述对象在所述视频帧内的位置。

对象追踪模块260可以指示头显或客户端设备在对象正在移动或已经移动到成像设备210的视场之外。

例如，如果一名学生正在使用带有摄像头200的头显来记录一节课，则每次学生低头记笔记并再次抬头看向黑板时，摄像头系统就需要在视频帧内调整老师的位置。然而，如果学生转身，使得老师在系统200的视场之外，头显将向用户提供听觉或视觉指示。

在具有多个摄像头的实施例中，对象追踪模块260监视当前用于识别是否应激活另一个摄像头的摄像头的视场内对象的位置。如果所述对象在第一摄像头视场的边缘的阈值距离内，并且边缘与第二摄像头视场相邻，则所述对象追踪模块260将指示所述视频生成模块250激活所述第二摄像头。

当激活第二摄像头以捕获所述对象时，可以停用第一摄像头以节省所述系统的功率。如果对象在第二摄像头视场边缘的阈值距离内，并且与第一摄像头视场相邻，则两个摄像头都可以通电，以确保对象在第一摄像头视场和第二摄像头视场之间来回移动时被捕获。

在一个实施例中，只有当对象在一段时间或多个视频帧中未出现在摄像头的视频帧中时，摄像头才停用。在其他实施例中，摄像头的激活和停用可以基于系统或对象的其他特征。

更改用于捕获对象的摄像头有助于确保在视频帧中捕获对象的责任可以成功地传递给不同的摄像头。如果对象靠近的边缘与系统200的另一个摄像头的视场不相邻，则对象追踪模块260指示头显或客户端设备向用户提供听觉或视觉指示。这提醒用户移动头显和摄像头，以方便连续捕捉对象。

所述视频由所述摄像系统200编译，以包括聚焦于所述对象的视频帧。例如，视频可以包括来自第一摄像头的用于视频的第一部分的裁剪视频帧，并且响应于移动到第二摄像头的视场的对象，从第二摄像头为视频的第二部分的裁剪视频帧。

可以修改由摄像头系统200捕获的视频帧，以便稳定视频，使得所述对象不会在视频中不连贯地移动。在一个实施例中，在捕获后可以编辑视频，使得摄像头系统200的用户可以选择他们想要在视频中包含哪些视频帧。

摄像头系统200同时可以存储未修改版本并向用户显示它们，以便用户可以指示如何为所述视频修改视频帧。

在一个实施例中，摄像头系统200可以采用始终在线记录，其中摄像头系统200记录由摄像头系统200捕获的所有声音，以便改善用户的体验。用户可以主动选择加入或退出，以允许或阻止摄像系统200记录、存储或向其他实体传输所记录的数据。

图3示出使用多个摄像头进行对象追踪的流程图。

在310，摄像系统200接收指令以生成对所述对象具有焦点的视频。指令可以由用户按下按钮来指示要对焦的对象。

在320，摄像头系统200在由第一摄像头捕获的第一视频帧中识别对象的位置。然后，摄像系统200可以基于步骤330-350生成视频。

所述摄像系统200确定所述对象在第一视频帧中失焦。摄像系统200调整所述对象在所述第一视频帧内的位置。所述对象在第一视频帧内的位置可以调整，例如通过将所述视频帧裁剪为修改后的视频帧，或通过切换正在捕获所述对象的视频的哪个摄像头。调整对象在第一视频帧内的位置可以使对象位于第一视频帧中心的阈值距离内。

述摄像系统200将所述第一视频帧并入所述视频中。一旦对象在第一视频帧中对焦，第一视频帧就添加到视频中。最终视频可以是视频帧的集合，其中对象处于焦点之中。

在一个实施例中，摄像头系统可配置第三摄像头，所述第三摄像头的视场不同于所述第一摄像头和第二摄像头的视场。在具有不同数量的摄像头的摄像头系统的实施例中，保持对象对焦的方法相似。摄像头系统激活具有对象在其视场内的摄像头，并使视场内没有目标对象的摄像头失效。所述摄像系统包含将所述对象对焦到所述视频的视频帧，所述视频帧可以来自所述摄像系统中捕获所述对象的任何摄像头。

图4示出用于追踪对象的图示。在这个例子中，父母可能正在使用摄像头系统拍摄他们的孩子在公园玩耍的视频，并将摄像头系统聚焦在孩子身上

在这里，视场410是可以摄像头系统的一个或多个摄像头捕获的总面积。本用例中的视图410包含建筑物、树木和子对象，其中子对象是所追踪的对象420。在所述摄像系统的视场410中，所述追踪对象420可能失焦，因为所述对象420距离所述视场410的中心超出阈值距离。

为了获得对所追踪对象420的焦点，所述摄像系统创建修改后的视频帧430。修改后的视频帧430包括距离修改后的视频帧430中心阈值距离内的追踪对象420。

为了改善对所追踪对象420的聚焦，所述摄像头系统可以移除所述视频帧450的部分以创建所述修改后的视频帧430。视频帧450的移除部分440不并入由摄像头系统生成的视频中。

通过将视场410裁剪为聚焦的、修改的视频帧430，摄像头系统使所追踪的对象420保持聚焦。可以对随时间捕获的每个视频帧执行这种类型的处理以生成视频。

图5示出使用多个摄像头进行对象追踪。当目标对象在摄像头系统的视场中移动时，摄像头系统可以启动不同的摄像头来捕获对象，同时关闭无法捕获所述对象的摄像头。

在图5中，第一对象516指示摄像头系统聚焦。所述摄像头系统可启动其所有摄像头，例如第一摄像头502和第二摄像头504，从而以初始定位所述第一对象516。

一旦第一对象516位于所述摄像系统的视场内，所述摄像系统可关闭所述对象516未被捕获的任何摄像头。在所示的情况下，第一个对象516位于第一个摄像头的视场506中，所以可以使用第一个摄像头502的视场506进行聚焦。

这样，可以激活第一摄像头502，并且可以停用第二摄像头504，以捕获第一对象516。

类似地，第二对象518完全位于第二摄像头视场508内，所以如果第二对象518指示聚焦，则只能打开第二摄像头504并关闭第一摄像头502的电源。在一个实施例中，当摄像头系统聚焦于第二对象518时，第一摄像头502和第二摄像头504都可以保持开机状态，但摄像头系统的控制器只能将来自第二摄像头504的视频帧处理成如图4所示的修改后的视频帧。

在第三对象520指示聚焦的情况下，第三对象520位于第一摄像头502和第二摄像头504的重叠视场514内。因为第三对象520在重叠视场514内，它可以使用从第一摄像头502或第二摄像头504捕获的视频进行追踪。在第一摄像头502和第二摄像头504为非相同硬件的实施例中，摄像头系统可以追踪第三对象520，其中每个摄像头具有较低的功耗以节省系统的电池。

在指示聚焦第四对象522的情况下，第一摄像头502可用于追踪第四个对象522，因为第四个对象522在第一摄像头视场506内。但由于第四个对象522在视场边缘512的阈值距离512内，如果第四对象522从第一摄像头视场506移动到第二摄像头视场508，则摄像头系统同样可以激活第二摄像头504，以防止失去对第四个对象522的追踪。

在这种情况下，第二摄像头504激活，因为检测到第四个对象522位于靠近第二摄像头508的第一摄像头视场506的边缘510的阈值距离512内。如果第四对象522位于第一摄像头视场506的左边缘的阈值距离512内，则摄像头系统可以向用户指示第四对象522即将离开系统的视场。

在一些实施例中，摄像头系统可以配置为一次聚焦于一个以上的对象。在这个实施例中，摄像头系统遵循如上所述的相同过程，并处理由一个或多个包含在其视场内的对象的摄像头捕获的视频。

值得一提的是，用户数据元素的隐私设置指定如何访问、存储用户数据元素或以其他方式使用。隐私设置可以允许用户指定可以访问用户数据元素的一个或多个地理位置。对用户数据元素的访问或拒绝访问可能取决于试图访问用户数据元素的实体的地理位置。例如，用户可以允许访问用户数据元素，并指定只有当用户处于特定位置时，实体才能访问所述用户数据元素。如果用户离开特定位置，则实体无法再访问用户数据元素。

系统可以包括一个或多个用于强制隐私设置的授权/隐私服务器。来自实体的针对特定用户数据元素的请求可以标识与请求相关联的实体，并且只有授权服务器根据与用户数据元素相关联的隐私设置确定实体授权访问用户数据元素时，才可以将用户数据元素发送给实体。

如果请求实体未被授权访问用户数据元素，则授权服务器阻止检索请求的用户数据元素，或者阻止将请求的用户数据元素发送到实体。