FocusAR演示动态视觉校正、变焦AR头显，为真景、虚景同时提供正确焦点
文章相关引用及参考：映维网
同时拥有真实世界和虚拟世界的舒适视图
（映维网 2018年11月05日）如果AR确实是下一个平台，AR系统就必须足够舒适，可以支持长时间佩戴，甚至是全天候佩戴，就像一副普通的眼镜那样。否则普罗大众只会继续将智能手机放在口袋里。如果AR确实能变成日常医学眼镜的样式，普罗大众就会将其用于显示2D内容（消息和提醒）和3D地理定位内容。在所有这些情况下，用户希望同时拥有真实世界和虚拟世界的舒适视图。
我们必须克服一系列的设计和计算挑战，从而令这种眼镜式的AR系统成为现实：低延迟追踪和渲染，低功耗，宽视场，紧凑的形状参数。来自北卡罗来纳大学教堂山分校（Praneeth Chakravarthula，David Dunn，Henry Fuchs）和英伟达研究院（Kaan Akşit）的研究团队重点探讨了AR系统的一个未得到充分研究的重要方面：真实与增强影像的焦点调节。
相关论文：FocusAR: Auto-focus Augmented Reality Eyeglasses for both Real World and Virtual Imagery
该研究团队描述的系统FocusAR能够动态地校正近眼显示器的现实世界焦点，以及数字合成影像的内部显示，而其目的是完全替换用户的医学眼镜。调整真实与虚拟刺激信号焦点的能力对于各种各样的用户而言都十分有用，尤其是视觉调节范围有限的40岁以上用户。团队提出的解决方案采用可调焦透镜进行动态地视觉校正，以及利用一个变焦显示器来在适当的空间配准深度设置虚拟影像，同时演示了一个概念验证原型，并讨论构建自动对焦增强现实眼镜的挑战。
1. 普通眼镜规格AR面临的挑战
眼睛为固定在空间中同一点上而进行会聚的距离名为辐辏距离，而眼睛为将这一点的影像带到空间中锐利焦点而进行调节的距离则称为焦点或调节距离。辐辏和调节属于神经耦合，例如当辐辏角改变时，眼睛将调整调节深度，从而把场景带到焦点中。对于VR，辐辏和调节之间的正确匹配非常重要。如果不匹配，辐辏距离和调节深度就会产生冲突，亦即所谓的视觉辐辏调节冲突（vergence-accommodation conflict；VAC），从而引起用户视觉疲劳和不适。
与VR相比，辐辏距离与调节深度的正确匹配对AR甚至更为重要，因为除了VR的要求之外，在AR中真实世界需要紧密匹配虚拟世界。如果虚拟影像与相应的真实对象不是位于相同的焦点深度，模糊不一致将迫使用户改变焦点，并注视于本应完全清晰对象上（见下图）。
图：由于所有虚拟对象都位于一个固定的深度平面，现有的传统AR显示器常常出现虚拟与现实世界焦点线索不匹配的情况。（左边）由于虚拟影像位置比教科书更深的平面上，因此书本出现在焦点上，而且书籍上的虚拟标签失焦；（右边）当焦点位于教科书时，书本上的虚拟标签变得清晰，但教科书失焦。
对于在日常生活中需要校正镜片的用户（“近视”和“远视”），情况则更为复杂，因为即使不是AR和VR，他们也必须处理VAC。比如说一位“近视”用户，他可以舒适地根据0.5米远的情景进行视觉辐辏和调节，但却需要校正镜片才能清晰地聚焦10米处的对象。当他第一次使用矫正性“距离”镜片时，10米处的对象将出现在焦点上（因为对于他的眼睛而言，10米的对象正位于0.5米处），但他在0.5米处会辐辏，从而产生“双重视觉”。经过数小时，数天甚至几周的佩戴后，他的视觉系统逐渐适应10米的辐辏，并同时仍然可以在0.5米远进行调节。有些用户永远无法适应如此大的VAC。经过几代人的努力，配镜师研究了大部分用户都可以适应和接受的VAC范围。
在穿戴头显时，需要视觉校正的用户仍需佩戴校正镜片。有的AR头显在用户眼睛和显示器之间为医学镜片留下了一定的物理空间。对于老花眼人群而言（40岁以上），这并不能解决问题，因为用户的焦距范围受限于镜片的聚焦范围。双焦，三焦或渐进镜片仅仅在一个垂直角度聚焦特定距离，迫使用户向上或向下倾斜头部以聚焦于特定距离的真实对象。至少自本杰明·富兰克林以来，发明者就一直在尝试解决聚焦所有距离的对象，但即使是最新的产品也要求用户转动透镜上的聚焦旋钮以调整焦平面深度，而这对大多数用户来说是一个无法接受的尴尬要求。
图左边：老花眼用户通过一台传统AR头显所感知到的真实与虚拟视图，视觉调节深度固定在7米。虚拟兔子位于中间（1米远），邮票（0.25米），教科书（1米）和自行车（5米）分别在近，中，远位置。请注意，真实影像和虚拟影像对用户来说都是模糊的，因为没有任何对象出现在老花眼用户的调节平面中；图中间：调节距离几乎为零的老花眼用户正在透过自动对焦AR眼镜进行观察。原型AR眼镜能够根据用户当前的眼睛调节状态来单独为用户焦点调整显示器上的真实世界和虚拟影像，从而在所有深度位置提供真实对象和虚拟对象的正确对焦影像；图右边：由于能够对真实和虚拟进行单独的焦点调整，用户通过自动对焦AR眼镜能够看到正确对焦的真实与虚拟视图。请注意位于中间位置（1米），教科书文本和虚拟兔子都是精确对焦。
今天和未来的AR显示器提供了一个机会，亦即利用AR显示器上已有的功能来改善视觉辐辏调节冲突：强大的处理器，以及用于追踪和基于双手用户交互的深度感知功能（如微软Hololens和Meta）。如果增加了快速，精确和强大的双目眼动追踪系统，头显就可以测量用户在真实世界和虚拟世界中的注视对象。接下来，系统可以将自适应焦点添加到现实世界（外部）视图中，并与虚拟世界（内部）视图的自适应焦点分开，从而正确对焦真实与虚拟影像。这样的显示器同时可以应用于自动对焦的医学眼镜（不提供虚拟内容）。
2. FocusAR的意义和成果
但要构建一个能够为真实与虚拟，近距离和远距离提供正确对焦影像的AR显示屏，该团队认为需要克服两大挑战：第一是，设计一个可以动态调整内部显示器和外部真实世界场景的焦点的显示器，在本次研究中他们选择了用于外部场景的可调焦透镜，以及用于内部显示器的变焦光束组合器；第二是，强大的眼动追踪。
研究团队说，目前市场上不存在主动校正用户感知真实世界时视觉缺点的显示器设计，还没有人解决了同时为真实场景和虚拟场景提供正确焦点线索的挑战，所以才有了他们的FocusAR研究项目，并得出了以下成果：
- 提出了一个用于分析由AR显示器引起的视网膜模糊的框架，包括失焦的真实与虚拟对象。利用它来理解和表征能够提供正确对焦真实与虚拟影像的AR显示器的要求。
- 提出设计和制造了一个自动对焦AR眼镜原型（利用内部的定制3D打印组件，以及现成的消费电子产品），并实时驱动显示器。
- 实验证明，通过可独立调节的焦点（无论是现实世界还是虚拟内容），对于眼睛中具有较低阶像差的用户以及具有正常视力的用户而言，所有深度的图像感知质量都得到改善。（当前版本的原型没有校正散光）
3. FocusAR显示器设计
从下表可以看到，AR显示器如果要同时支持真实和虚拟的焦点线索，我们需要对虚拟影像深度和真实世界视觉校正进行单独的调整。
尽管正常视力的用户不需要任何视觉校正，但眼睛中具有任何屈光不正的用户都需要外部焦点调整，从而对真实世界对象进行正确对焦。但是，近视和远视用户仅需要静态焦点校正，而老花眼用户则需要根据感兴趣对象的深度进行动态视觉校正。因此，为了动态调整外部校正透镜，我们需要可在一定焦距范围内运作的可调焦透镜。借助强大的双目眼动注视点追踪系统，头显上的多个外置摄像头，以及用户眼睛屈光不正程度的先验知识，我们可以确定感兴趣对象的深度，并调整外部校正透镜的焦点，从而帮助用户正确聚焦现实世界的目标。像微软Hololens这样的商用AR头显已经采用了外置摄像头和追踪器来分析空间环境，而未来的AR和VR头显预计将集成眼动追踪器，所以该团队的研究主要集中在光学校正系统上。
内部显示器应该能够在不同深度渲染对象，同时在空间上将它们配准到现实世界，静态或动态地提供深度线索。这样的内部显示器可以是以下两种类型之一：光场与全息显示器，通过近似来自空间中给定点的波前来静态地提供所有深度线索；变焦显示器，在任何给定的瞬间聚焦一个特定的深度平面，从而动态地提供深度线索。静态地提供深度线索能够确保正确的视网膜模糊；动态地提供深度线索则需要通过适量的视网膜模糊来渲染远离焦深平面的对象。
FocusAR系统与选用组件的概述。左边是外部视觉校正系统，右边是内部的增强现实显示系统。
内部显示器类型更多的是一种设计选择，而渲染取决于所使用的内部显示技术。对于变焦显示器，可以使用传统的渲染管道，只需稍加修改即可支持计算模糊和失真校正。光场和全息显示管道则更为复杂，涉及多视口积分成像（multi-viewport integral imaging），以及包含菲涅尔集成的点配准方法。
总而言之，具备视觉校正和动态聚焦功能的AR眼镜有两个任务，并需要集成至同一个系统中：第一，主动校正外部焦点，以支持现实世界感知；第二，主动校正内部显示器的焦点，并使用适当的计算模糊渲染虚拟影像。
4. FocusAR原型
研究团队提出了一个硬件原型，其包括针对现实世界对象的视觉校正，面向虚拟对象的变焦焦点显示器，以及用于设置每位用户校准和控制每个子系统的硬件和软件。
为了校正外部真实世界影像，团队开发了一种采用可调透镜的视觉校正模块，其能够在任何深度形成清晰的图像，适用于近视，远视和老花眼用户。
视觉校正模块离用户眼睛14毫米远，能够实现单眼37度视场。如此放置最大化了可用的视场，并令内部显示器能够渲染与外部真实世界深度相匹配的虚拟影像，因为视觉校正模块同时校正了真实与虚拟影像的焦点，从整体上简化了系统。
与Dunn等人提出的变焦显示器相比，该团队面向增强影像的内部变焦显示器是一个更为精细的系统。它主要是依赖一种能够动态调整半反射膜的光学功率以调整虚拟影像的光学深度，从而匹配用户注视点的技术。
原型硬件与测试配置。左边，显示器原型与相机的配置，模拟正常视力用户和老花眼用户；右边，我们可以看到显示器原型包含用于外部世界焦点调整的视觉校正模块，以及用于驱动显示器焦点的可变形分束器膜。
为了测试原型，团队将带有EF 24-70 1：2.8 L USM镜头的佳能Rebel T6i相机放在视觉校正模块后面，使其透过显示器感知世界，模仿人眼。相机镜头和视力校正模块之间的距离保持约22毫米，略高于眼睛和眼镜之间的典型距离。由于相机距离稍大，所捕捉图像中的视场比用户体验更差。相机的光圈设置为F2.8，而相机设置如上图所示。通过在0.25米处放置邮票，1米处放置教科书，以及5米处放置自行车来创建真实世界场景。斯坦福兔子的多边形模型用于虚拟影像，并通过OpenGL在显示器上渲染。模拟了两种不同类型的用户：正常视力和远视用户。
5. 实验结果
为了模拟视力正常且没有调节损失的用户，该团队在视觉校正模块关闭的同时不断调整相机焦距以聚焦各个深度。模拟了两种不同的场景：1，佩戴传统头显的用户，虚拟影像深度固定在1米（即教科书位置）；2，佩戴变焦显示器的用户，设备能动态调整虚拟影像深度以匹配真实世界目标。
模拟正常视力的用户，同时对比了传统显示器和变焦显示器。
结果如上图。在传统头显设置中，当用户的焦点靠近邮票时，虚拟影像明显模糊，因为虚拟影像深度与真实世界深度不匹配。但由于虚拟影像深度设置为教科书的深度，因此可以看到兔子和教科书都十分清晰。这表明传统的AR头显不足以提供增强内容的舒适浏览体验。在另一方面，当显示器切换为变焦模式时，虚拟兔子可以设置在近，中，远的位置，匹配真实世界目标的深度。请注意，兔子与真实世界在所有深度上都总是清晰可见。近，中和远位置的兔子进行了适当的缩放以包括透视深度。
为了模拟老花眼用户，测试是将相机焦距固定在7米远，从而模拟调节几乎为零的老化眼镜。虚拟兔子在近，中，远处进行了适当的缩放。这个实验模拟了四个不同的情景：1，传统的AR头显，外部视图没有视觉校正，内部显示器没有动态调焦，虚拟显示器的焦点设置为中等距离（即1米）；2，变焦AR头显，其中视觉校正模块处于非活动状态，但虚拟影像深度可以进行动态调整；3，调整显示器的静态焦点，调整虚拟影像的深度以匹配老花眼用户的调节（在这种情况下为7米），但外部的视觉校正模块处于非活动状态；4，自动对焦AR眼镜模式，内部显示器和外部真实世界视图的焦点都可以进行单独的动态调整。
模拟老花眼用户看到的真实与虚拟影像，相机焦距固定在7米。
结果如上图。对于传统的AR头显模式的显示器，现实对象和虚拟对象都会出现预期的模糊，因为虚拟图像深度设置在1米远，而用户焦点设置在7米远，超出真实与虚拟目标的距离。当显示器切换为变焦模式时，感知图像不会改善，这与之前正常视力用户的实验情况有所不同。原因是尽管虚拟图像深度在空间上对齐现实世界对象的深度，但用户的调节与对象的深度不匹配。与视力正常的用户不同，老花眼的调节范围几乎为零。但如果在用户的调节深度中将显示器的焦点调整为静态时，虚拟影像将变得清晰可见。不过，现实世界的对象看起来仍然像是失焦。
为此，FocusAR的解决方案是，当启动显示器的视觉校正模块时，系统也将调整外部的矫正性透镜，从而令用户的调节深度与现实世界目标的对象深度相匹配，并同时调整显示器的焦点以匹配现实世界对象的深度。因此可以看出，近，中，远距离的所有真实与虚拟对象都清晰可见。
但视场仍是FocusAR目前避免不了的限制。尽管用于浏览虚拟图像的显示器在水平与垂直方向上提供大约75度的视场，但可调焦透镜的10mm孔径尺寸将整体视场限制为37度。然而，研究团队指出，最近针对大孔径可调焦透镜的研究表明有望在不久的将来增加视场。
6. 结论
由于硬件限制，当前的FocusAR原型没有整合眼动追踪（使用眼动追踪器要求用户远离视觉校正模块，而这减少了可用的视场）。但FocusAR的这一早期原型已经演示自动对焦AR眼镜的概念证明设计，演示了为存在/不存在任何屈光不正的用户显示真实与虚拟内容的初步能力。
我们已经知道Oculus在VR原型头显Half Dome中采用了类似的技术。正如该团队所说，映维网也相信未来的AR显示器有望采用动态视觉校正和变焦显示器，并在任何距离下为所有用户实现20/20的视力（包括真实与虚拟影像）。
延伸阅读：斯坦福大学用深度感知、注视点追踪为普通眼镜带来近距离对象聚焦能力
延伸阅读：Oculus详细探讨响应式变焦显示技术，通过眼动追踪解锁下一代VR/AR视觉
延伸阅读：Oculus分享Half Dome三年研发历程与核心技术，剑指颠覆VR行业
