单摄像头注视点估算，Pupil Labs带来精准眼动追踪效果

文章相关引用及参考：映维网

Pupil Labs相信他们的研究为突破眼动追踪极限铺平了道路。

（映维网 2018年07月16日）行业有采用基于模型的方法来实现无闪烁的注视点估算，这通常是使用从眼睛图像提取的瞳孔轮廓来推断眼睛姿势。但这种方法要么是忽略角膜界面出现的折射现象，要么是需要复杂的硬件设置进行处理。对于使用单个近眼摄像头的无闪烁注视点估算，Pupil Labs在研究中详细分析了其中出现的折射现象。Pupil Labs演示了推断的眼球位置和注视方向出现了系统偏差，并且表明忽略角膜折射可以导致几度的角度误差。另外，Pupil Labs量化了瞳孔半径估算中的注视方向相关误差。提出了一种全息的方法来解释3D眼睛模型拟合中的角膜折射，而通过分析合成和真实图像，说明了这种新方法可以成功捕捉折射现象，并有助于克服现有技术方法的缺点。

Cubic Motion演示的Vive Pro眼球追踪，采用Pupil Labs单摄像头

Pupil Labs的研究主要涉及三个部分：（1）基于模型的注视估算；（2）基于轮廓的方法；（3）基于闪烁的远程眼动追踪器的折射现象。

1. 基于模型的注视估算

取决于该方法是采用回归还是采用眼睛模型方法，基于视频的眼动追踪可以进行大致的分类。基于回归的方法通常依赖于多项式映射函数，根据眼睛图像特征来估算屏幕上或场景摄像头内的2D注视点坐标。与之相比，基于模型的方法将3D眼睛模型拟合到眼睛图像，从而实现3D空间的注视估算。

在Pupil Labs的研究中，他们主要关注基于模型的注视估算方法。基于模型的方法利用从一个或多个摄像头记录的眼睛和面部图像中提取的特征，然后确定所采用眼睛模型的相关参数。尽管存在根据面部特征来确定眼球位置的注视估算方法，但大多数现有的方法依赖于对以下一个或多个特征进行分析：瞳孔轮廓，瞳孔中心位置和闪烁。后者是角膜表面上的反射，其主要是通过一个或多个红外LED主动产生。Pupil Labs研究中提出的方法仅使用单个近眼摄像头，基于瞳孔轮廓，不依赖于闪烁。

2. 基于轮廓的方法

Tsukada等人提出了一种基于3D模型的注视估算方法，根据眼睛模型与从眼睛图像提取的虹膜轮廓拟合进行计算。他们的方法与[Świrski and Dodgson 2013]的研究存在许多相似之处。但是，目前尚不清楚折射现象是否会影响他们的基本前提，亦即虹膜轮廓是圆形3D虹膜的简单透视投影。对于几乎安装在眼睛前方的近眼摄像头来说，这似乎是合理的设定，但由于头显的几何形状，头戴式眼动追踪通常需要更为倾斜的摄像头角度，而这种假设无法满足。Pupil Labs提出的研究不做这种假设。Lai等人开发了一种基于轮廓的方法，以非近似方式处理折射。但他们的方法需要两个摄像头。Pupil Labs在这项研究中关注的是，仅使用单个摄像头的眼睛图像来进行注视估算的折射建模。

图：（A）折射导致在角膜界面进入或离开眼睛的光线弯曲。（B）考虑到显式瞳孔轮廓依赖于角膜的屈光特性，折射现象对无闪烁的注视估算方法提出了一个巨大的挑战。上方：无折射；下方：球面屈光角膜

3. 在基于闪烁的远程眼动追踪器中建模折射

Ohno等人提出的远程眼动追踪系统由单个摄像头和单个LED组成。使用基于闪烁的技术来确定角膜的中心，他们假设在角膜发生折射，通过反投影来自2D瞳孔轮廓的点来估算3D瞳孔的中心。由于反投影瞳孔的半径是根据2D图像瞳孔的测量值进行估算，因此它们的方法是近似解。Hennessy等人提出了一种类似的近似计算方法，但使用的是单个摄像头和多个闪烁点。Shi和Liu则在注视估算系统中使用了一对校准的立体摄像头和多个闪烁点。但是，他们假设3D瞳孔中心的图像是2D瞳孔图像的中心，但鉴于折射和透视投影的影响，这只是一种近似值。这同样适用于[Guestrin and Eizenman 2006]提出的系统。由Chen等人提出的方法是基于一个简单化的假设：虚拟瞳孔的中心位于光轴上，亦即包含3D瞳孔中心和角膜曲率中心的线。

4. 基于闪烁的远程眼动追踪器中因折射而引起的误差

Villanueva等人研究了忽视/近似计算角膜折射而引起的角度注视估算误差。他们的结果表明，完全无视折射将导致几度的误差。对于采用近似方法来处理角膜折射，这仍然会导致系统性的误差，最高达到几乎1度。最近，Barsingerhorn等人提出了一种关于远程眼动追踪器中折射效果的模拟研究，其涉及一对立体摄像头和两个红外光源。他们的分析表明，根据眼睛几何和生理学方面做出的标准简化假设通常会带来高达一度的注视预测偏差。与之对比，在本次研究中主要关注移动设定中的注视估算。特别是，研究了不使用闪烁来确定基本模型参数（如眼球位置）的系统的折射效果。

5. 结果

Pupil Labs的证据表明，如果忽视折射现象，当前基于轮廓和无闪烁注视估算的最先进方法存在严重的限制。模拟研究显示，其在眼球位置，注视方向，亦即瞳孔半径估算方面出现的系统性和显著误差源于这种简化。Pupil Labs表示，其3D眼睛模型优化方法通过新颖的损失函数来解释角膜表面的折射，因此不存在类似的缺点，同时有望为以上所有参数提供精确的估算。这里描述的框架由一个充满前景的平台组成，可用于旨在剖析更详细和更逼真眼睛模型在无闪烁注视估算中的重要性的进一步研究。因此，对于要在这个具有挑战性的环境中突破眼动追踪极限的进一步研究而言，Pupil Labs相信他们的研究为其铺平了道路。

相关论文：A novel approach to single camera, glint-free 3D eye model fitting including corneal refraction