精度低于1.75°，AR/VR科研团队研发 10000Hz眼动追踪混合摄像头
使用了基于事件和基于帧的混合型摄像头
（映维网 2021年05月24日）大多数眼动追踪器都是利用摄像头来监控用户瞳孔。遗憾的是，传统的摄像头传感器再带宽方面存在约束，从而强迫厂商在分辨率和帧率之间进行权衡。另外，传统的摄像头需要消耗相当的资源。针对所述问题，一系列的科研团队都在而探索不同的解决方案。
日前，由加州大学、斯坦福大学和瑞典皇家理工学院组成的团队在IEEVR大会提出了一种基于Event Camera的眼动追踪方法。据介绍，相关解决方案的摄像头在刷新率方面超过10000Hz，而且精度能够媲美高端桌面级商用追踪器的水平。
近年来，新兴的Event Camera或Event-Based Camera越来越受到行业的关注。Event Camera是一种生物启发式传感器，是研究人员受人类视网膜原理启发而设计了神经拟态视觉传感器。与传统摄像头不同，神经拟态视觉传感器没有“帧”的概念，并且是采用基于事件驱动的方式来捕捉场景中的动态变化。当现实场景中发生变化时，神经拟态视觉传感器会产生像素级的输出，即Event/事件。一个事件可以包括t，x，y，p。其中， x和y是事件在2D空间的像素坐标，t是事件的时间戳，p是事件的极性。事件的极性代表场景的参数变化（如亮度）: 上升（positive）或下降 (negative)。
由加州大学、斯坦福大学和瑞典皇家理工学院组成的团队所提出的系统正是建立于这种Event Camera。具体而言，团队使用了基于事件和基于帧的混合型摄像头，其能够同时获得定期采样帧和自适应采样事件。研究人员同时开发了一个在线二维瞳孔拟合函数，为每一个或数个事件更新一个参数模型。另外，团队提出了一个多项式回归器来实时估计由参数化瞳孔模型获得的注视点。
团队指出：“利用基于事件的注视数据集，原型系统在45度到98度的视场中达到了0.45度到1.75度的精度。对于这项技术，我们希望能够为虚拟现实和增强现实提供新一代的超低延迟渲染和显示技术。”
1. 系统综述
下面两个视频都是关于所述系统的综述介绍，其中第二个视频是参加IEED大会时的介绍性视频。
项目综述：3分钟
IEEE-VR大会时的系统综述介绍，7分钟
眼动追踪数据是稀疏的，只有与眼睛主要特征（如瞳孔和睫毛）相对应的像素会随着时间的推移发生显著变化，而团队提出的事件传感器正是利用这种稀疏性来实现超低延迟的眼动追踪。
在下面这个视频中，被试盯着不断移动的鼠标光标，而屏幕显示的红点则是估计的用户注视点的下采样版本。
2. 系统的输入和输出
图A所示的输入是以高速异步采样眼球运动，以固定采样率记录的帧和事件。帧和事件由同一传感器捕获，事件极性用蓝色（+）或红色（-）进行颜色编码。输出一个注视点，然后系统将根据对瞳孔的估计进行计算，并在图B、C和D中以黄色显示（x和y是传感器的列和行，t是时间）。事件在帧之间连续触发，从而允许比帧速率快得多的瞳孔估计。每一个瞳孔估计创建一个黄色圆圈。由于估计非常频繁，以至于它们形成了一个几乎连续的管状结构，如图C和D所示。
团队提出的眼动追踪系统使用了基于事件和基于帧的混合型摄像头，输出包括以眼睛运动确定的自适应速率采样的事件和以固定速率采样的帧。下面这段视频显示了眼睛在一次扫视中的运动。请注意，扫视开始于两帧之间，但事件依然能够捕捉到它的开始。
4. 拟合眼睛模型
在获得事件和帧后，团队开发的算法将利用帧和事件在线更新眼睛的参数表示，不存储帧或事件。另外，使用多项式回归将拟合的眼睛模型映射到注视点。
当眼睛快速移动时，追踪用户瞳孔的椭圆可以利用基于事件的数据，并使用10000Hz或更高的速率进行拟合。每次拟合一个新的瞳孔位置时，绘制一个1px宽的椭圆。黄色的、看似连续的管状结构代表了系统对瞳孔运动的快速采样。
5. 原型与性能表现
如图所示，这个能够实时流式传输Event事件的摄像头原型安装在一副眼镜之上。当以10000Hz采样时，传统摄像头需要的带宽所产生的数据要高于USB-3的最高携带量。作为对比，Event Camera利用了传感器信号的稀疏性，产生的数据要少得多。团队指出，数据是以低于12 Mbits/s的带宽从原型传输到设备。
研究人员同时对比了Eyelink，Tobii，PupilLabs等主流眼动追踪技术开发商。如上图所示，团队的方法每秒能够传输的帧最多。
当然，团队承认所述方法依然存在一定的局限，包括需要定期的重新校准，易受影响，以及缺乏fground truth等等。团队接下来将继续优化所述方案，同时希望最终能够为虚拟现实和增强现实提供新一代的超低延迟渲染和显示技术。
