Magic Leap专利欲用眼动追踪摄像头进行面部表情捕捉
判断是否真笑要看眼睛
（映维网 2019年09月25日）有人说判断是否真笑要看眼睛。在眼球、眉毛、眼部皱纹等区域之间，我们其实可以发现不少的信息，而眼球区域的微表情有一个额外的好处：你利用这一点来判断面部其他区域正在做什么。
早前谷歌研究院的研究已经表明，这种信息足以支持深度学习系统判断出一系列基本的表情，而且相当精准。
Magic Leap同样有涉足这方面的研究。日前，美国专利商标局公布了一份名为“Facial Expressions From Eye-Tracking Cameras”的Magic Leap专利申请。
所述专利主要描述了合成面部图像的系统和方法。这家公司指出，头显的内朝向摄像头可能只能观察到面部的一部份，而专利描述的方法可以至少部分地根据成像的面部构造来生成未成像面部部分的映射，并使用所述映射来确定无法观察的面部部分构造。然后，头显可以组合观察到的部分和未观察到的部分，从而合成全脸图像。
Magic Leap解释说，即使摄像头可能无法直接观察眉毛，或嘴唇/嘴巴/下颚附件区域，但所观察到的摄像头图像可能能够识别出肌肉收缩或特征变化。例如，摄像头观察到的眼周区域（眼球周围区域）图像可以包括一定的上眼周区域（如瞳孔上方的眼周区域），其可能能够说明与眉毛抬高和眼睛形状变化的相关肌肉收缩和特征改变。这样的肌肉收缩和特征改变提供了检测相应面部表情改变的潜力。
所以，可穿戴设备可以根据眼周区域的各种观察特征来推断未观察到的区域构造。在一些实施例中，系统可以生成这样的特征表达关联或推断映射。然后，可以使用各种可观察到的特征输入来生成映射，如皮肤的拉伸和压缩和面部特征的形状（皱纹和斑点等）。
另外，映射可以是表情推断模型的一部分，而且映射可以是通用，也可以针对特定用户进行个性化设置。例如，AR设备可以配备有代表大量用户的通用映射，然后可以根据特定用户图像的分析个性化映射。
观察到的图像可以与推断图像相结合并生成全脸图像。通过利用机器学习原理（如人工智能和神经网络等），系统可以实时准确地分类眉毛状态和面部特征的变化。
名为“Facial Expressions From Eye-Tracking Cameras”的专利申请最初于2019年3月提交，并在日前由美国专利商标局公布。需要注意的是，这只是一份专利申请，尚不确定具体的效果，以及Magic Leap将于何时商业化具体的发明技术。
