Meta AR/VR专利探索摄像头+生物电位的多模态混合眼动追踪系统

小编刘卫华 | 分类：专利 | 2023年3月22日

加入映维网会员

结合基于摄像头的视频追踪和基于EOG电极的生物电位信号信息追踪

（映维网Nweon 2023年03月22日）传统的眼动追踪传统技术捕获用户的视频图像，并使用机器视觉算法识别用户瞳孔的方向。然而，这种技术消耗大量的计算资源，容易出现睫毛和眼睑遮挡，并且会受到虹膜和瞳孔之间的对比度影响。因此，基于视频的眼动追踪难以精确追踪具有深色虹膜的用户眼睛。

在VR头显中捕获视频图像以确定用户注视方向具有额外的缺点，例如所采用的摄像头类型通常相对昂贵或体积巨大。另外，这种技术以摄像头的帧速率速度捕获信息，而大多数时候的摄像头帧速率相对较慢。

所以Meta在名为“Eye-tracking using embedded electrodes in a wearable device”的专利申请中提出，可以额外监测来自多个EOG电极的生物电位信号信息，从而确定与用户眼睛运动相关联的信息。

这家公司指出，可以采取一种混合系统，结合摄像头系统的信息与生物电位的信息，从而实现多模态混合眼动追踪系统。

多模式混合眼动之宗系统可以改善边缘情况，例如眼睑覆盖眼球的情况。这种系统可以使用包括多个EOG电极的电极组件来测量生物电势信号。电极组件可以嵌入头戴式系统中。头显将从电极组件接收的眼动追踪信息与摄像头接收的信息组合在一起，并使用经过训练的机器学习模型来根据生物电位信号确定眼球情况。

图1A是一个眼镜设备100透视图。DCA可以包括确定眼动追踪信息的眼动追踪单元。眼动追踪信息可以包括关于一只或两只眼睛的位置和方向信息。眼动追踪单元可以包括一个或多个眼动追踪摄像头（未示出），并根据捕获的一只眼睛或两只眼睛图像来估计一只眼睛或者两只眼睛的角度取向。眼动追踪单元同时可以包括一个或多个照明器以照射一只或两只眼睛。

在一个实施例中，眼动追踪单元包括形成电极组件的多个电极185。电极185监测响应于诸如眼球运动、扫视、眨眼等眼部事件的发生而在用户头部产生的生物电位信号。电极185耦合到到头戴式系统，并且与用户头部的皮肤直接接触。

电极185是提供眼动追踪信息的整体眼动追踪系统的一部分。如图所示，电极185位于框架上、鼻梁处以及框架的端件处，但在其他实施例中，电极185可以位于头戴式系统的其他部分和耳内。

图2是入耳式设备210的剖面图200。剖面图200描绘了外耳220和耳道230。

入耳式设备210的实施例包括作为音频系统的换能器阵列一部分的换能器240、麦克风250、电源单元260、多个EOG电极270、数字信号处理器（DSP）280和收发器290。在替代配置中，不同和/或附加组件可以包括在入耳式设备210中，例如接收器或收发器，以及入耳式装置控制器。

入耳式设备210配置为完全位于用户的耳道230内，使得其放置可以完全闭塞耳道230的一部分。入耳式设备210包括转换器240，转换器240转换从音频系统接收的指令以向用户提供音频内容。换能器240可以是高带宽音频换能器。

EOG电极270监测在用户眼球运动期间在用户头部表面产生的生物电位信号。在一个实施例中，电极270在空间上分布在入耳式设备210的外表面上。电极位于入耳式设备中，使得它们接触用户的耳道。多个电极可以是柔软的、平坦的、可拉伸的和可折叠的，以便于在入耳式设备210的外表面上定位和使用。系统使用嵌入式电极270对应的生物电位。

电极270测量响应于诸如用户的眼球运动之类的眼部事件在用户头部产生的生物电位信号。捕获的生物电势信号提供给DSP 280。电极270可以使用无线通信与DSP 280通信。

DSP 280可以从电极270接收监测到的生物电势信号，并用于进一步的信号处理。可以无线地或通过入耳式设备210内通信电路从电极接收监测的信号。DSP 280可以处理从电极接收的信号，包括对信号进行滤波。

DSP 280可以包括模数转换器（ADC）和数模转换器（DAC）。DSP 280可以包括放大器以放大从电极接收的生物电势信号。DSP 280可以包括诸如带通滤波器和/或低通或高通滤波器以及陷波滤波器之类的滤波器，以从接收信号中去除噪点。

收发器290将从入耳式设备210接收到的监测的和可选地处理的信号传送到位于头显的眼动追踪系统。收发器单元290可以包括天线、蓝牙单元和其他收发器组件。

图3是一个横截面/侧视图300。眼睛310包括角膜330、虹膜340、瞳孔350、巩膜360、晶状体370、中央凹380和视网膜390。

在图3中描绘了眼睛的瞳孔轴385和中央凹轴395。瞳孔轴线385和中央凹轴线395随着眼睛310的移动而改变。在图3中，眼睛310描绘为具有水平瞳孔轴385。因此，图3中的中央凹轴395指向水平面下方约6°。图3同时示出了摄像头324的轴线。

眼睛310的移动导致角膜反射在不同注视位置的相应移动。相关运动可以由眼动追踪摄像头322捕捉到。摄像头322将捕捉到的运动作为眼睛运动报告给眼动之宗系统（未示出）。

EOG电极320放置在框架110上，使得它们与用户头部的皮肤接触。所述电极320监测眼睛310的角膜330和视网膜之间的电压电位差（即生物电位信号）。随着眼睛310的移动，角膜330和视网膜390之间的电压电势差的矢量相对于EOG电极320改变。因此，在电极320处监测的信号发生变化，并且可以用于确定眼睛的运动。例如，在睁开眼睛的时段期间，电极320处的监测信号的急剧偏转可能由眨眼引起。

在一个实施例中，电极320可以位于框架110的端件之上，使得它们与用户头部靠近太阳穴的皮肤接触。在其他实施例中，电极320可以在用户的鼻梁处与皮肤接触，或者电极320可以与眼睛310上方的前额区域和眼睛310下方的面部脸颊区域的皮肤接触。这样的电极放置有助于确定眼睛的垂直运动。随着电极320之间的间距增加，测量的信号不太容易受到与噪点相关的变化影响。来自EOG电极320的监测到的读数报告给眼动追踪系统。

图4A是根据一个或多个实施例的可穿戴设备组件400框图。眼动追踪系统418追踪用户的的眼睛运动。

在一个实施例中，眼动追踪系统418从位于头显的多个EOG电极（例如图1A、图1B和图3中的电极185）接收生物电势信号的信息，并可以将根据监测到的生物电位信号确定的眼动追踪信息，与从眼动追踪摄像头接收到的眼动追踪信息进行组合。

图4C是眼动追踪系统480的框图，是图4A中所描绘的系统418的实施例。眼动追踪系统480可以包括传感器组件482、眼动追踪信息确定模块484和数据存储器486。

传感器组件482包括多个传感器，例如多个EOG电极。其中，EOG电极监测在用户头部产生的生物电势信号。传感器组件482同时可以包括一个或多个眼动追踪摄像头，其检测并追踪用户眼睛中不同注视位置处的角膜反射。

传感器组件482中的多个电极监测响应于诸如眼球运动、扫视、眨眼等眼部事件的发生而在用户头部产生的生物电位信号。如关于图3中所描述，这电极监测眼睛的角膜和视网膜之间的电压电位差（即生物电位信号）。随着眼睛的移动，角膜和视网膜之间的电压电势差的矢量相对于电极发生变化。因此，在电极处监测的信号发生变化，并且因此可以用于进一步确定眼球运动。测量的信号由传感器组件482发送到眼动追踪控制器模块484，并用于确定眼睛跟踪信息。

传感器组件同时可以包括信号处理单元，信号处理单元可以先处理信号，然后再将生物电势信号提供给眼动追踪信息确定模块484。信号处理单元的处理包括使用带通滤波器和陷波滤波器对信号进行滤波，以从接收信号中去除噪点。在一个实施例中，所述单元可以放大从电极接收的生物电势信号。

基于监测到的生物电位信号，眼动追踪信息确定模块484使用机器学习模型来确定用户的眼动追踪信息。

眼动追踪信息确定模块484从传感器组件482接收监测到的生物电势信息。由多个电极监测的生物电势信号以比用于通过眼动追踪摄像头更高的采样频率获得。因此，在电极和眼动追踪摄像头都存在于传感器组件482中的实施例中，在相同的监测时间段内，从电极接收到的眼动追踪相关信息比从眼动追踪摄像头接收到的信息更多。

因此，从多个电极获得的信息可以用于补偿从眼动追踪摄像头接收到的丢失信息，从而生成改进的眼动追踪信息。

类似地，从眼动追踪摄像头获得的信息有时是低质量的，例如眼睑闭塞、黑暗环境、低功率可用性等。在这种情况下，眼动追踪信息确定模块484将来自眼动追踪摄像头的信息与基于监测到的生物电位信号相组合，以生成改进的眼动追踪信息。