Facebook VR专利提出无需摄像头的低成本面部追踪系统
（映维网 2021年07月26日）Facebook首席执行官马克·扎克伯格曾在今年3月接受了The Information 411播客采访，并谈论公司的AR和VR事项。他指出，团队已经在开发搭载面部追踪和眼动追踪等功能的下一代VR头显，而未来的硬件迭代将主要集中于提供更为真实的虚拟现实交互，比如“真实的眼神交流”和“真实的表情”，而这一切都是由面部追踪和眼动追踪技术驱动。
在5月初的一次采访中，扎克伯格又表示未来将希望通过“Quest Pro”来进一步提升虚拟现实体验，所述头显将纳入全新的传感器组件，包括面部追踪和眼动追踪。
来到6月，映维网查到Quest的底层系统服务已经增加了面部追踪和眼动追踪相关程序，而且至少从Quest v28系统开始相关服务就已经集成到了Quest的底层系统服务中。
现在，我们可以通过美国专利商标局日前公布的专利申请来一窥团队尝试探索的设计方向。
名为“Systems and methods for facial expression tracking”的专利申请最初在2020年1月提交，并主要描述了用于面部表情追踪的系统和方法。值得一提的是，团队构思了一种低成本、低计算开销的面部识别系统方案，其不需要摄像头或复杂的图像数据处理。显然，这将非常有利于打造高大众亲民度的可穿戴设备，毕竟纳入眼动追踪或面部追踪等附加组件会提高头戴式装置的成本，并且会对系统性能造成负担。
专利描述的面部追踪装置包括照明器和光子探测器。照明器配置成向用户头部的第一部分投射光，光子检测器配置成检测从用户头部的第二部分反射的光。所述面部追踪装置同时包括处理器，所述处理器连接到所述照明器和光子检测器，并且配置成致使所述照明器将所述光投射到所述用户的头部，从所述光子检测器接收信息，并且确定所述用户的面部表情。
在一个实施例中，专利描述的系统包括照明器、一个或一组光子检测器、一个或多个模拟电路、和/或基于来自光子检测器的信息重建面部表情的软件算法。在一个实施例中，光子探测器和/或照明器不需要透镜。在一个实施例中，专利描述的系统提供了不需要摄像头或复杂图像数据处理的低成本、低计算开销面部识别系统。
根据一个实施例，可穿戴显示器可包括配置成佩戴在用户头部的元件、与所述元件一起布置并配置成向头部的至少一部分发射光的照明器、与所述元件一起布置并配置成接收从头部的至少第二部分反射的光线的光子检测器、以及一个或多个处理器。
在一个实施例中，所述处理器耦合到非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质上具有编码在其上的指令，所述指令在由所述一个或多个处理器执行时致使处理器命令照明器将所述光投射到头部的一部分，并从光子检测器接收信息。然后，处理器至少基于来自光子检测器的信息来确定用户的面部表情。在一个实施例中，所述元件是镜框和/或外壳。
在另一实施例中，面部追踪系统包括配置成向用户面部的至少一部分发射光的照明器、配置成接收从面部的至少第二部分反射的光线的光子检测器、以及一个处理器。处理器配置成接收由光子检测器检测到的光线的特性信息，并且基于由光子检测器检测到的光线特性来确定面部的面部表情。
在另一个实施例中，面部追踪方法包括使用面部追踪系统的照明器将光线投射到用户的面部。处理器处接收来自光子探测器的信息，所述信息包括从面部反射的光的特性。然后，处理器根据光子探测器信息来确定面部表情。
如专利图2所示，可穿戴设备202包括面部追踪系统204。面部追踪系统204包括第一面部追踪组件240和第二面部追踪组件245。
在一个实施例中，第一面部追踪组件240安装到可穿戴设备202的第一侧，使得第一面部追踪组件240布置成位于用户鼻子231的第一侧，并且第二面部追踪组件245安装到可穿戴设备202的第二侧，使得第二面部追踪组件240布置成位于用户鼻子231的第二侧。这样，面部追踪系统能够在没有来自鼻子231或其他面部特征障碍的情况下追踪更大的面积。
第一面部追踪组件240包括第一照明器110a和第一光子检测器111a。在一个实施例中，第一面部追踪组件240可以包括一个以上的照明器110a和/或一个以上的光子检测器111a。第一照明器110a配置为至少朝向第一部分290投射或发射第一光，并且第一光子检测器111a配置为接收从第一部分290反射的光。然后，反射的第一光可用于计算、确定、或者估计第一部分290内的对象与第一面部追踪设备240的距离。例如，反射光由光子检测器111a接收，光子检测器111a生成指示反射光的特性的相应电信号。在一个实施例中，电信号指示所接收的光的强度。
第二面部追踪组件245还包括第二照明器110b和第二光子检测器111b。在一个实施例中，第二面部追踪组件245可以包括一个以上的照明器110b和/或一个以上的光子检测器111b。第二照明器110b配置为至少朝向第二部分295投射或发射第二光，并且第二光子检测器111b配置为接收从第二部分295反射的光。然后，反射的第二光可用于计算、确定，或者估计第二部分295内的物体与第二面部追踪组件245的距离。例如，反射光由第二光子检测器111b接收，光子检测器111b生成指示反射光的特性的相应电信号。在一个实施例中，电信号指示所接收的光的强度（例如，光子检测器响应于接收更强烈的光而产生更高的电流）。
在一个实施例中，面部追踪系统204包括处理电路102、集成电路或至少部分封装在头戴式设备202内的ASIC。处理电路102可通信地耦合到面部追踪组件240和245，并配置为控制面部追踪组件240和245。例如，处理电路102可通信地耦合到第一照明器110a和第二照明器110b，并配置为控制第一照明器110a和第二照明器110b。又如，处理电路102可通信地耦合到第一光子检测器111a和第二光子检测器111b，并配置为从第一光子检测器111a和第二光子检测器111b接收数据。
在一个实施例中，专利图6包括面部追踪系统601、面部表情确定的第一示例602和面部表情确定的第二示例603。面部追踪系统601包括多个面部追踪组件611a-h。多个面部追踪组件的第一组611a-d配置成定位在第一侧（如鼻子640的右侧），多个面部追踪组件的第二组611e-h配置成位于用户第二侧（如鼻子640的左侧）。
多个面部追踪组件611a-h中的每一个包括照明器110和光子检测器111，所述照明器110和光子检测器111布置和配置成检测对象（如用户的嘴巴641）的相应部分612a-h。例如，第一面部追踪组件611a包括照明器110和光子检测器111。第一面部追踪组件611a的照明器110布置成向包括第一部分612a的第一区域投射光，光子检测器111布置成接收从第一部分612a反射的光。这样，多个面部追踪组件611a-h可用于检测对象（如嘴巴641）的相应部分612a-h的距离。
面部追踪组件601可以使用确定的或检测到的距离来确定用户的面部表情。即，面部追踪系统601可以映射、内插、绘制或以其他方式处理每个相应部分612a-h的距离，以确定用户的面部表情。例如，第一面部追踪组件611a检测到嘴巴641的外部（612a）处于第一距离，并且第四面部追踪组件611d检测到嘴巴641的中心部分（612d）处于第二距离。
在面部表情确定602的第一示例中，面部追踪系统601基于每个相应部分612a-h的测量距离映射、插值、绘制或以其他方式构建对象的图像，并确定用户正在皱眉。在一个实施例中，面部追踪系统601可以至少基于第一距离大于第二距离预定阈值来确定用户皱眉。在一个实施例中，预定阈值可以是0.5、0.75、1、1.5、2或更多厘米。
通过确定各个面部特征的距离和位置，系统可以判断用户的表情。
相关专利：Facebook Patent | Systems and methods for facial expression tracking
名为“Systems and methods for facial expression tracking”的专利申请最初在2020年1月提交，并在日前由美国专利商标局公布。需要注意的是，这只是一份专利，仅代表Facebook朝所述方向进行了研究探索，不确定Facebook是否会或将于何时商业化所述的发明技术。另外，不清楚这份发明的实际应用效果。
