不仅是注视点渲染，眼动追踪为何是VR变革者

文章相关引用及参考：roadtovr

眼动追踪将成为VR行业的变革者

（映维网 2018年05月10日）能够快速和精确测量用户注视点的眼动追踪常常是与注视点渲染联系在一起讨论，人们希望这一功能可以降低VR的性能要求。尽管注视点渲染是眼动追踪在VR头显中一项令人感到兴奋的用例，但眼动追踪的作用并不只局限于此。

多年来，眼动追踪对VR而言都是一项遥远的技术，但现在行业已经在精度、延时、稳定性和成本上取得了长足的进步，开发者和研究人员已经越来越能用上相关的硬件。

像Tobii这样的企业正在为制造商和开发商提供眼动追踪硬件和软件，高通已经在他们的VRDK头显中采用了Tobii的解决方案；北京七鑫易维除了跟高通合作，还在销售用于Vive头显的aGlass眼动追踪开发套件；而Fove同样为市场带来了内置眼动追踪功能的VR头显开发套件。在另一边厢，Oculus最近展示了一款首次集成眼动追踪的新原型；Magic Leap则确认他们即将推出的开发头显集成了眼动追踪功能。另外，苹果同样收购了眼动追踪领域的领导厂商之一SMI，并且已经申请了实施该技术的相关专利。

面对这样的发展势头，映维网相信我们在未来几年内将会看到眼动追踪成为消费者VR头显的标准元素。届时，眼动追踪将能令一系列可以提升VR体验的功能成为现实。

1. 注视点渲染

我们首先从大多数人已经熟悉的功能开始。注视点渲染旨在降低VR场景所需的计算能力。这个名字与“中央凹”有关，亦即人类视网膜中心的一个小坑。人眼中心凹的分辨率最高，而我们外围视觉在细节和颜色方面则较低，但对运动比较敏感。你可以将它想象成一台相机搭载了一个只有数百万像素的大型传感器，而中间又嵌入了一个数千万像素的小型传感器。

实际上，你能够以高分辨率感知世界的视觉区域比你想象中要小：仅仅只有几度而已。中央凹与其他区域之间的分辨力差异非常巨大，以至于没有没有中央凹，你甚至无法识别本文的文字。你可以很容易地看到这一点：如果你将注意力集中在这个“单词”上，然后尝试阅读后面两个句子。即使你能看到类似于词语的形状，你也几乎无法确定它们究竟是指什么内容。人们高估视力的中心凹大小的原因似乎是：大脑做了大量无意识的解释和预测来建立我们知觉中的世界的模型。

注视点渲染的目标是利用这一特点，只以高分辨率渲染中央凹位置，亦即人眼注视点区域，然后大幅降低外围视觉的的场景复杂度。这样做可允许我们将大部分处理能力集中在对细节贡献最大的区域，同时在其他地方节省计算资源。这听起来可能没什么大不了，但随着VR头显分辨率和视场的提高，渲染复杂场景所需的计算能力正以指数级速度增长。

眼动追踪显然能派上用场，因为我们需要知道用户的注视点位置，只有这样才能快速和精准地采用注视点渲染。研究人员相信，这种错觉可以在用户完全无法感知的方式实现。有趣的是，映维网已经从最近的一些演示作品中见证了这一点。

2. 自动用户检测与调整

除了检测眼球运动之外，眼动追踪还可以作为生物识别器。这令眼动追踪成为在单一头显中处理多用户配置文件的绝佳选择：当戴上头显时，系统可以立即识别为特定用户，并调出用户的自定义环境、内容库、游戏进度与设置。当另一个用户戴上头显时，系统可以加载他们的偏好和保存的数据。

眼动追踪也可用于精确测量IPD，即两眼之间的距离。确定IPD对VR而言十分重要，因为你需要将透镜和显示器移动至舒适和视觉质量最佳的位置。遗憾的是，大所述人都不清楚自己的IPD（你可以用尺子对眼睛进行粗略的测量，或者询问你的眼科医生）。

借助眼动追踪，你将能够轻松且即时地测量每位用户的IPD，然后软件可以帮助用户调整头显IPD匹配，或者告知用户其IPD超出了头显支持的范围。

在更先进的头显中，这可能是不可见的和自动的过程：头显能够无形地测量IPD。而且头显可以包含机动IPD调节，自动将透镜移动到正确的位置。

3. 变焦显示器

今天VR头显中的光学系统效果很好，但它们实际上相当简单，不支持人类视觉的一项重要功能：动态聚焦。这是因为VR头显的显示屏始终都与我们的眼睛保持固定的距离，即便立体视觉深度不同时也是如此。这导致了一个名为“视觉辐辏调节冲突”的问题。

调节

视觉调节是指弯曲眼睛晶状体以聚焦不同距离下的物体。

在现实世界中，为了聚焦近处物体，眼睛的晶状体会弯曲，令物体反射而来的光线到达视网膜上的合适位置，从而让你清晰地看到物体。对于距离较远的物体，光线则以不同的角度进入眼睛，而晶状体必须再次弯曲以确保光线聚焦在视网膜上。所以，如果你将一只手指举到离面部数厘米远，然后闭上一只眼睛并将注意力集中在这只手指，这时手指后面的世界将会变得模糊不清。相反，如果你把注意力集中在手指后面的世界，你的手指将变得模糊不清。这就是视觉调节。

辐辏

辐辏是指两只眼睛向内旋转以将每只眼睛的视图重叠成一个对齐的图像。

然后是视觉辐辏，这是指两只眼睛向内旋转以将每只眼睛的单独视图“聚合”成一个重叠的图像。对于非常遥远的物体，两只眼睛几乎是平行并列，因为它们之间的距离相较于离物体的距离非常小（这意味着每只眼睛几乎都能看到物体的相同部分）。对于非常靠近的物体，两只眼睛必须向内旋转才能令每只眼睛的视角对齐。对此，你也可以借鉴上面的手指技巧：这一次，用双眼看着面前的手指。请留心，你会注意到手指后面的物体出现了重影。当你将注意力集中在手指后面的物体时，你则会看到手指出现了重影。

冲突

借助足够精确的仪器，你可以使用视觉调节或视觉辐辏来确定一个人正在看着的物体到底有多远。但问题是，视觉调节和视觉辐辏都发生在你的眼睛，而且是自动进行。视觉调节和视觉辐辏存在直接相关性，因此，任何给定的视觉辐辏测量都存在直接对应的视觉调节水平（反之亦然）。从婴儿时期起，你的大脑和眼睛已经形成了肌肉记忆，你在任何时候在注视任何物体时它都会令这两件事情一起发生。

但对于今天大部分的AR和VR头显，由于光学设计的固有局限性，视觉调节和视觉辐辏都无法同步。

一款基本的AR或VR头显都存在用于渲染虚拟场景的显示屏（假设离眼睛10厘米），以及将来自显示器的光线聚焦在眼睛的透镜（就如同眼睛晶状体将世界的光线聚焦到视网膜上那样）。但由于显示屏与眼睛之间的距离为静态，而且透镜的形状同样是静态，所以来自显示屏的任何光线都是来自相同的距离。所以，即使80米远的有一座虚拟山峰，5米远的桌子上有一个咖啡杯，两个物体的光线都会以相同的角度进入眼睛。这意味着晶状体弯曲的视觉调节永远不会发生改变。

这样视觉调节将与视觉辐辏产生冲突：视觉调节永远不会改变，但视觉辐辏却会出现。我们可以向每一只眼睛显示不同的影像，所以我们的眼睛需要将对象聚合在不同的深度，而能够为每只眼睛独立地调整影像实际上是当今AR和VR头显立体视觉的基础。

但是，我们可以开发的最逼真显示器，而且可以说是最舒适的显示器可以消除视觉辐辏调节冲突，并让两者同步工作，就像我们在现实世界中所习惯的那样。

能够动态调整焦点深度的变焦显示器则是该问题的一个潜在解决方案。实现变焦显示器存在一系列的方法，而或许最为简单的方式之一就是物理来回移动透镜以实时改变焦点深度。

实现这种致动式变焦显示器需要眼动追踪的支持，因为系统需要准确知道用户的注视点位置。通过追踪用户眼睛注视点在虚拟场景中的移动路径，系统可以发现路径相交的点，从而建立适当的焦平面。接下来，系统可以将信息发送至显示器以进行相应的调整，将焦点深度设置为匹配眼睛到对象的虚拟距离。

一个正确变焦显示器不仅可以解决视觉辐辏调节冲突，同时可以允许用户聚焦更接近于他们的虚拟对象。

早前研究人员把变焦显示器集成至VR头显之前，眼动追踪就已经用于模拟景深，近似用户眼睛焦平面之外的对象模糊。

4. 注视点显示器

注视点渲染旨在更好地分配低细节外围视觉和中央凹之间的计算能力，减轻系统负载，而同样的效果可以用于实际的像素数目。

注视点显示器不只是单纯改变显示器特定区域的渲染细节，其实际上能够进行物理移动，这样无论用户看向哪里，显示器都能维持在用户注视点的前方。

注视点显示器可以在VR头显内实现更高的分辨率，同时无需强制在视场中以更高分辨率对像素进行填充。因为这样做不仅成本高昂，而且随着像素数量接近于视网膜分辨率，这将带来挑战性的功率限制。相反，注视点显示器可以根据眼动追踪数据将较小的像素密度显示器移动到用户的注视点位置。这种方法甚至有可能实现比单个平面显示器更高的视场。

Varjo是一家致力于开发注视点显示器系统的企业。他们采用了一个覆盖广阔视场（但像素密度不是很高）的典型显示器，然后在其上叠加了一个像素密集的微型显示器。这两者的结合意味着用户的外围视觉既有广阔的视场，又能实现中央凹视场的高分辨率。

Varjo最新的原型目前没有移动较小的显示器（它只是停留在透镜中心），但为了确保高分辨率区域总是位于注视点中心，该公司已经考虑了多种移动显示器的方法。

5. 改善社交角色

今天许多社交VR应用似乎支持逼真的眼球运动，包括眨眼睛，扫视和对象聚焦，但所有这一切都是通过动画和编程逻辑进行的伪装。这种错觉有利于减少虚拟角色的机器感，但当你真正与某人面对面交流时，实际的非语言信息就会丢失。

准确的眼动追踪数据可以轻松应用到VR角色身上，从而实际显示用户在什么时候眨眼或者他们正在看着哪里。这同时可以带来有意识和无意识的非语言交流，如眨眼，眯眼和瞳孔扩张，甚至可以用来推断对方的情绪，如悲伤或惊喜，因为这一切都会反映在虚拟角色的眼睛里。

6. 意图和分析

眼动追踪同时十分适合被动地理解用户意图和注意力。比如一位开发者正在研发一款恐怖游戏，其中玩家需要在鬼屋中探索。传统上，开发者可能需要花费很长时间来制作脚本序列，比如当玩家进入特定区域时怪物将从壁橱中冒出头来，但如果玩家没有直接看向壁橱，他们就会错过这个有趣的触发点。在这种情况下，当用户朝正确方向看时眼动追踪输入就能马上触发事件。或者眼动追踪可以令诡异的鬼影从玩家外围视觉飘过，然后当玩家正眼看时就消失于黑暗之中，从而营造更为惊悚的体验。

除了使用眼动追踪来最大化恐怖体验之外，这种被动输入还可以用来帮助玩家更好地控制虚拟环境。Tobii是一家眼动追踪硬件和软件的制造商，他们的其中一个演示作品就是帮助用户在VR中投掷物品时提高自己的准度。系统可以根据用户注视点推断他们想要抛出的位置，然后改变抛出物体的轨迹以实现精确的投掷。下面的剪辑说明了实际轨迹与修正轨迹，但剪辑只是用来演示。在实际使用中，这对用户来说是完全不可见，而且感觉非常自然。

除了这种实时的意图理解之外，眼动追踪也可以为分析带来非常大的价值。通过采集用户“正在看什么”，“在什么时候看向这里”等相关的注视点数据，开发者可以更深入地了解应用程序的使用情况，从而帮助他们优化应用或者为其他提供分析支持。例如，眼动数据可以用来说明用户是否有留意到重要的按钮或视觉线索，用户的注意力是否被环境中的非预期部分所吸引，某个界面元素是否没有得到充分利用等等。

7. 积极输入

眼动追踪对积极输入十分有用，允许用户主动利用他们的注视点来更快，更轻松地完成任务。虽然今天许多VR应用允许用户通过指向对象并启动抓取动作，从而“拉动”远处的物品，但眼动追踪可以加快这一操作的速度和精度。眼动追踪实际上可以令这项任何更加准确，因为我们的眼睛指比手中的激光指示器更适合指向远处的对象，因为手部的自然摇晃幅度将随着距离的增加而变大。

跟抓取对象一样，眼动追踪输入可以令VR操作更高效，允许用户更快速地按下按钮和实现其他操作。可以想象，当VR真正成为一项普遍的高效计算平台时，眼动追踪输入将扮演十分重要的角色。

8. 医疗研究

眼动追踪在医疗与研究领域存在广泛的用例。SyncThink等企业正在使用配备眼动追踪功能的头显来判断脑震荡，据称这样的设备可以提高现场诊断的效率。

研究人员同样把眼动追踪用于数据采集与输入，比如更好地理解自闭症对社交性眼神接触的影响，探索注视点在专业钢琴家表演中的作用，或者为残障人士提供更多的支持等等。

– – — – –

考虑到一系列的潜在进步，我们显然可以发现眼动追踪将成为VR行业的变革者。在不久的将来，内置眼动追踪将成为高端头显的首要任务，并最终成为VR的标准功能（同样适用于AR）。