深入AR系统构建，为啥AR显示技术发展这么慢、这么难

查看引用/信息源请点击：linkedin

为什么研发AR显示器这么困难？

（映维网 2019年08月21日）移动AR已经成为一个热点话题。当看到与微软的HoloLens，Magic Leap的Creator Edition或DAQRI的Smart Glasses相关的热门文章时，你会有一种AR似乎终于准备好走进大众市场的感觉。但是，所述设备依然存在诸多缺陷，而今天尤为明显的一个是显示器。

近来热门的媒体出现了各种推测和“功能建议”，大家似乎普遍认为当前的AR显示器十分优秀，而尽管视场依然过小，但很快就能达到优秀的水平。诸如波导设计商DigiLens等显示器厂商同样加入了这轮视场喧嚣之中，并于最近宣称他们的AR显示器很快就能达到150度的视场。

在本文中，DAQRI首席技术官Daniel Wagner、DAQRI首席光学设计工程师Louahab Noui和DAQRI研究总监Adrian Stannard将尝试解释视场为什么不太可能在短期内实现大幅扩展。本文另一个更为重要的目标是，说明视场只是对AR显示器重要的大约24个参数中的一个。其他参数的重要性不弱于FOV，同时尚未得到解决或可以独立解决。实际上，目前大多数AR显示技术早已存在于军事或工业场景，而最近的进展更多是降低了相关的成本，全新的突破较少。下面是映维网的具体整理：

1. AR显示器的种类

目前主要有两种AR显示技术：光学透视和视频透视。行业在过去已经探索过这两种选择，但由于后者的局限性十分显著，目前几乎所有商用AR设备都采用光学透视显示器。

1.1 光学透视显示器

光学透视显示器允许用户“直接”（通过一组光学元件）感知现实世界。这种AR显示器是通过为来自现实世界的光线添加额外光线来呈现虚拟内容。由于这是一种添加操作，所以不可能显示黑色或令现实世界变暗。所以，今天的无源光学系统无法显示黑色虚拟内容或绘制阴影。确实有实验设备能够以每像素级别阻止入射光，但它们远离实际应用尚有十分遥远的距离，所以本文不作考虑。

今天主要存在两种主要类型的光学透视显示器：波导和自由空间系统（组合器）。就目前而言，波导（见下图）显然在高端领域占据主导地位，而且上述提到的所述设备都是基于波导：投影仪在波导的一个位置（内耦合）插入图像。由于全内反射（Total Internal Reflection；TIR），它将在波导内反弹（就如同在光纤电缆之中），然后在另一个位置（外耦合）朝向眼睛出射。波导十分受欢迎，因为它们能够实现简练的平面设计，但会带来一系列的（图像质量）问题。

当今最流行的波导替代方案是自由空间系统。由于采用自由形式元件，其设计过于复杂，但从光学角度来看比波导简单很多，所以可以产生更高的图像质量。另外，一旦完全原型化，它们的生产成本将远低于波导。对基于自由空间系统的显示器而言，一个常见的误解似乎是它们通常必须很大才能实现大视场（如Meta2）。

波导的光学效率低，所以需要强大的投影仪。目前的实现方式是将作为光源的LED和作为图像调制器的LCOS组合起来。自由空间系统通常足以应用OLED，后者具有自发光的特性，可实现更小的投影仪设计。

1.2 视频透视显示器

对于视频透视显示器，一对摄像头将记录真实世界视图，然后再通过不透明显示器进行显示，如OLED或LCD。虚拟内容是通过常见的视频混合技术进行添加，这意味着可以进行任何类型的操作，包括显示黑色虚拟内容和令现实世界变暗。

可以进行适当视频混合的能力绝对是视频通过光学透视的优势。尽管如此，现在基本所有的AR设备都采用光学透视。原因十分简单：在视频透视的情况下，我们在本文中讨论的所有挑战都适用于真实视图和虚拟内容。相比之下，光学透视仅适用于虚拟内容，而通过巧妙的UI设计我们可以更好地进行控制。动态范围是一个明显例子：尽管具有巨大动态范围的人眼可以看到一个位于阳光之下的人和一个位于阴影之中的人相邻站立，但今天的相机和显示器无法解决这个问题。要么阴影中的人过暗，要么阳光下的人太亮。另外，大视场是必要项，这不仅是为了匹配所部署的摄像头系统，同时是为了模仿如肉眼所见的真实世界视场。另外，存在安全和人类因素等需要解决的问题。所以，本文的其余部分只探讨光学透视显示。

2. 设计参数

我们在本文假设视场只是AR显示器的众多基本设计参数之一。所述的大多数设计参数与F视场同样重要。下面我们列出了最重要的属性：

1. 视场
2. 视窗大小（Eye box size）
3. 亮度，透明度和占空时间
4. 对比度
5. 均匀性和色彩质量
6. 分辨率
7. 现实世界畸变
8. 虚拟图像畸变
9. 人眼安全
10. 适眼距
11. 色差
12. 深度感知
13. 体积，重量和形状参数
14. 光学效率
15. 延迟
16. 杂散光

我们可以相对轻松地以其他作为代价来改进一个参数。例如，如果可以接受大体积和小视窗，增加视场将不是什么难事。但大多数用户可能不希望使用这样的设备。另一方面，在小型显示器中实现大视场和大视窗非常具有挑战性。类似地，较大的视窗需要更多的光线来实现相同的感知亮度，所以需要更强大的光源。

下面描述的大多数参数今天都未达到最理想的状态。所以，设备厂商的目标是全方位地提升它们。但正如刚才提到的一样，在不牺牲其他参数的情况下改进一个参数已经十分困难。这种权衡的主要原因是所谓的系统光学扩展量。这是一个几何不变量，如下面的公式所定义。类似于能量守恒，我们需要维持光学扩展量守恒。在最简单的形式中，光束所通过的面积和光束所占有的立体角的乘积必须是常数。

在图片中，高度为h1的对象用作光源。对于所示透镜系统的几何形状，得到的图像高度h2> h1，而对象侧的立体角Ω2小于Ω1。换句话说，如果面积扩大，则立体角减小，反之亦然。更正式的光学扩展量定义为：

其中n是介质的折射率，θ是面积dA的发射（或接收）光束的角度。我们注意到光学扩展量没有的标准符号，但“G”和“dG”经常用于光学领域。类似术语出现在称为拉格朗日不变量的近轴极限中：

其中h1和h2是对象和图像高度，u1和u2分别是对象和图像射线角度。G的替代表达式有时用于包含NA（数值孔径）的显微镜物镜：

如果为获得恒定视场而尝试扩大出射光瞳，光学扩展量将影响光引擎设计的效率和投影仪尺寸。以下图的简单投影仪设计为例，焦距为f的准直透镜准直宽度为x的微型显示面板（限制在一个维度）。无论是波导还是自由空间系统，投影仪的视场都是我们希望尝试实现和通过显示器中继的目标。

投影仪的高度（出射光瞳）由透镜的直径确定，而投影仪的视场θ由以下等式确定：

为了增加给定显示器的视场，我们需要减小f或增加x，但根据光学扩展量守恒，增加立体角将减小图像尺寸。另外，透镜半径不能大于其曲率半径，而这又决定了它的焦距（通常使用镜子，因此只有一个表面具有屈光率）。所以这里存在一种权衡，而我们可以通过更大的显示面板进行解决，但这又会使得投影仪和照明系统更大，因为在准直光源时会出现相同的问题。所以，光电发射显示面板非常具有吸引力。波导十分欢迎，因为它们支持“出瞳扩展”或“出瞳复制”，从而使得光学扩展量关系不会直接受到影响。但这会产生其他后果，如图像质量，效率和亮度。当选择用于投影仪的扫描激光系统时，你同时会遇到其他复杂的情况，因为投影仪的出射光瞳非常小。扩展这种投影仪的一种方法是，将中介屏幕作为辅助光源，但这会增加体积（因为需要额外的中继透镜），增加光斑，并且会降低效率。另一种出瞳扩展方法是采用波导，但如果没有眼动追踪和主动校正功能，你将难以抑制伪影。

2.1 视场

尽管人人似乎都渴望更大的视场，但这必须与其他方面进行仔细平衡。更大视场的需求很大程度上取决于头显设计目的。对于诸如游戏这样的消费者用例，更大的视场将能增加沉浸感。有40度×30度的视场对大多数专业用例而言已经足够（如维护和检查等），因为焦域小，而其他方面更为重要（如增加安全性）。

如上图所示，今天的AR显示器仅覆盖人类视场的一小部分。受益于更简单光学设置的VR设备则更接近覆盖整个人类视场。

视场，视窗和适眼距紧密相关，如下面简化的方程式所示：

其中s是光学表面的尺寸（如宽度），b是视窗尺寸，r是适眼距，v是视场。下图说明了这种关系。

假设视场是40度，适眼距是20mm，视窗尺寸是20mm，显示器表面需要35mm宽。假设视场是90度，其他参数类似，则显示器表面需要达到60mm。对于DigiLens宣称的150度（对角线）波导，显示器的对角线需要达到170mm。对于4：3的形状参数，显示器需要为大约135mm×100mm，而且是单眼。

从上图中可以看出，即便是60mm宽的波导都已经相当大，而135mm宽的波导根本不可行。它不仅大得可笑，而且这种宽视场必须纳入双目重叠，这意味着两个波导必须重叠。显然，要达到这样的视场，平面显示器表面将不再有效，并且需要考虑曲面组合器选项。（尽管并非不可能）但曲面波导目前只是一个研究课题，离实用尚有十分遥远的距离。

2.2 视窗尺寸

视窗是近眼显示器前面的区域，可允许用户“正确地”感知显示内容。视窗之外的显示内容可能会失真，颜色可能错误，或者内容可能根本就无法感知。尽管行业将其称为“视窗”，但这一区域的3D形状不是盒状而是圆锥形，并且会随着距显示器的距离变大而变薄。尽管视窗是AR和VR显示领域的常见术语，但光学元件领域更常用的术语是“出瞳”，其中瞬时视场等于总视场。

在使用双筒望远镜或显微镜时，大多数人应该都会注意到出瞳过小的问题：除非每只眼睛能够精确定位在目镜前面的正确位置，否则你将看不到任何一切。这种“不待见”行为的原因是，较小的出瞳导致更高的光效率（进入双筒望远镜的光线集中在另一侧的小范围区域），而这显然是双筒望远镜的理想属性。

那么，视窗到底要多大呢？视窗的最小实际尺寸显然是人眼瞳孔尺寸（通常假设为大约4mm），而这通常是双筒望远镜的设计目标。双筒望远镜的视场非常小，所以瞳孔保持相对固定。但对于AR/VR显示器，用户的眼睛可以自由移动。为了支持这种眼睛运动，视窗需要在每个方向增加至少数毫米。

眼球运动不是扩大视窗的唯一要求。不同人有着不同的瞳距（IPD）。为了支持这种差异化，我们需要机械调节（如双筒望远镜）或光学调节（通过进一步增加视窗宽度）。对于移动端设备而言，移动式组件存在非常大的问题，尤其是在需要精确校准的时候。由于机械调整不是一个好选择，所以视窗宽度需要进一步增加至少10mm，理想情况下是20mm。

由于波导的输入光瞳通常不是非常大，所以行业开发了各种技术来增加出射光瞳的尺寸，如出瞳扩张或出瞳复制。衍射波导具有天然的优势，而反射波导在两个方向扩展视窗（2D出瞳扩展）则非常具有挑战性。结果，半反射波导通常具有比衍射波导小的视窗。

设计大视窗通常非常具有挑战性，并且会对其他设计参数产生巨大的影响。例如。视窗尺寸直接影响显示区域（波导）的所需尺寸。另外，正如在双筒望远镜的示例一样，为了实现相同的感知亮度，较大的视窗需要更多的光输出。

2.3 亮度，透明度和占空时间

简单来说，显示亮度定义了显示器的亮度是否足够支持用户在特定情况下清楚地感知虚拟内容。透明度则关于有多少现实世界光线能够到达眼睛。对于AR，理想情况是非模糊区域达到100％。对于VR，它通常为零。占空时间定义了每帧像素点亮的时间。占空时间可以以毫秒或帧时间百分比进行度量。这三个主题在很大程度上独立于用户视点，但技术上密切相关。我们将在本节中一起讨论。

对移动AR设备而言，显示亮度绝对是一个极具挑战性的话题。今天几乎所有的AR头显的显示亮度都非常有限：Hololens和DAQRI Smart Glasses的显示亮度约为300 nits，而Magic Leap One的显示亮度仅为200 nits。由于显示器亮度非常具有挑战性，所以今天大多数的AR眼镜通常都是经过调配，只限于室内使用，而且在户外很快变得不可用，尤其是在阳光直射的情况下。为了减轻这个问题，大多数AR头显都采用会降低透明度，并因而减少到达用户眼睛的环境光线数量的有色面板，从而令显示器相对更加光亮。尽管这对于消费者来说或许可以接受，但大多数专业领域都不能容忍低显示透明度。

除了有色面板，大多数光学设计都会阻挡大量的现实世界光线。例如，Birdbath设计（原ODG和现Nreal）会格挡大部分的入射光线。

Karl Guttag的博客有关于这方面的介绍（这里 和这里 ）。根据Guttag的说法，Hololens只允许约40％的环境光线到达眼睛，MagicLeap One仅为约15％，而在2019年初亮相的Nreal眼镜则是25％左右。幸运的是，人眼具有大约1：109的巨大动态范围，所以我们能够应对这种亮度降低。但在黑暗环境中，这种亮度降低可能是产生问题。

由于占空时间定义了每帧允许像素发光的时间长度，所以它与显示亮度密切相关。占空时间为100％意味着显示器连续发光。对于60Hz显示器，这意味着每帧大约16ms。但在这样长时间内显示相同的像素值将导致运动伪影（“拖尾”）。比方说我们假设显示器的水平视场是40度，水平方面1280像素分辨率，以及每秒60度的头部旋转。在这种情况下，头部大约每毫秒旋转2个像素。所以当占空时间为16ms时，每个像素将在32个像素的长度中产生“空间拖尾”（参见下图）。

但幸运的是，在专心查看细节时，我们人类头部会更加稳定，所以实际上AR显示器通常可以接受4ms或更低的像素占空时间。

LCOS面板是由单独的LED点亮，而这可以非常光亮，所以可以实现高透明度，占空时间低于1ms（各颜色）的光亮显示器。另一方面，OLED更暗，所以当占空时间过短并且同时需要高透明度时，OLED显示器很快就会出现多个问题。以上图为例，当占空时间为16ms时，显示器更亮，但会出现拖影。当占空之间为4ms时，拖影情况会减少，但显示器会过暗。

当帧率为60Hz（约16ms）时，4ms的绝对占空时间将导致显示像素仅在约25％的时间内有效。结果，显示亮度将降低四倍。如果显示器以120Hz运行，4ms的占空时间意味着像素依然在大约50％的时间内发光。类似地，240Hz可以实现约100％的占空时间。但对于移动设备及其显示面板而言，这种高帧速率并不现实。

2.4 对比度

对比度没有正式的定义或衡量方法。但是，大多数人都能理解对比度。简单来说，对比度描述了显示器同时产生更亮和更暗像素的能力，如：

如果显示器的对比度较差，则无法同时显示亮内容和暗（透明）内容。根据显示器的整体亮度，它要么无法显示明亮区域，要么本应为暗（透明）的区域没有变暗。对于光学透视显示器，透明度取代了黑色的作用：在对比度差的AR显示器中，你可以看到透明区域显示为深灰色。换句话说：只要AR显示器不够亮，对比度差的负面影响同样有限。但随着AR显示器的亮度提升，它们将需要更高的对比度。

对比度取决于显示面板和光学系统。LCOS往往具有低对比度，通常是为1：100至1：200。OLED具有相对较高的对比度，可以达到1：1.000.000或更高，这就是它们如今受到家用电视欢迎的原因。但在两种情况下，光学元件（棱镜，透镜，波导）将导致对比度的进一步降低。例如对基于LCOS的系统而言，最终对比度很容易就会低于1：100。

2.5 均匀性和颜色质量

颜色质量定义了显示器能够再现颜色的准确程度。例如，由GPU渲染成红色的像素会显示屏中显示为红色吗？为了实现适当的色彩再现，我们需要进行校准（包括伽玛）。由于AR显示器通常是添加光线，所以感知颜色同时取决于虚拟内容所叠加的场景。

与对比度相同，颜色质量可能存在非常大的差异，具体取决于显示器的位置：例如，取决于它是位于显示器的左侧还是右侧，像素颜色看起来可能相当不同。这种伪影通常依赖于视图，这意味着用户瞳孔的位置同样会有影响，并且需要眼动追踪进行解决。

均匀性描述了位于不同显示器位置的像素颜色变化：对于完美的显示器，通过相同RGB值渲染的每个像素看起来都完全相同。实际上，亮度，对比度，颜色和其他属性取决于显示器位置以及查看像素的角度。

尽管自由形式组合器（如Meta2）和半反射波导（如Lumus）的均匀性通常都非常好，但衍射波导显示器（如Hololens和MagicLeap）明显受到均匀性问题的影响。这种充满中等灰度像素级数的显示器会出现各种色调（见下图）。

2.6 分辨率

显示分辨率描述了可以显示多少不同的像素。这是一个有着众多文章介绍的属性之一。显示分辨率的最终目标是达到人类视觉极限或略微超过大约一弧分（1/60度）。

由于市场对提升规格的需求，今天大多数智能手机的分辨率远高于人眼在正常情况所能感知的分辨率。例如在40厘米远查看显示屏尺寸为14厘米的智能手机，这意味着手机屏幕在人眼视场范围内大约为20度，所以长边不需要超过1200像素。但是，今天依然有一系列的智能手机的显示分辨率要比这个数字高出50%。

视场为30度×20度的AR显示器大约需要1800×1200像素。但今天的VR显示器位于90度×60度的范围内，所以实现人眼极限需要5400×3600像素。这意味着每秒生成和显示大约20万像素75次，或每秒15亿像素……

对于智能手机，用户直接看着屏幕（忽略手机膜）。所以没有光学元件会以负面方式影响显示面板提供的像素质量。对于AR和VR设备，尽管复杂的光学系统是位于用户眼睛和显示面板之间，但它们会严重降低图像质量。感知分辨率（到达眼睛的分辨率）可以显著低于显示面板分辨率。正如Karl Guttag所说，MagicLeap One的有效分辨率仅为其面板分辨率的一半。类似地，Hololens显示器在从LCOS到眼睛的光路中损失了大量的分辨率。

所以，只要光学系统是显示面板的限制因素，分辨率通常没有什么意义。

2.7 真实世界畸变

对于光学透视显示器，用户是通过显示器的光学元件感知现实世界。在大多数AR设备中，所述元件构成了下面的子集：

1. 显示视觉增强所需的虚拟图像的波导，如HoloLens。
2. 或者将投影图像反射到眼睛的自由形式组合器，如Meta2。
3. 设备外部的面罩用于保护电子元件和光学元件。
4. 将虚拟图像焦平面从无限远移动到更为可行位置的推/拉透镜，如2米（如DAQRI Smart Glasses的反射波导）。
5. 在一侧或两侧保护脆弱波导的附加塑料，如Hololens。

其中一些元件具有额外的，不受待见的光学属性。例如，波导以将光线弯曲（引导）到正确的方向，但它同时会影响真实世界的光线，而理想情况下光线不应该受到影响。类似地，面罩或推/拉透镜的设计或由于有限的质量而使光线变形。

当然，大家都希望能够尽可能少地扭曲现实世界视点，但在实践中，限制重量和成本的愿望需要可能会产生明显伪影的妥协。

2.8 虚拟图像畸变

光学工程师旨在设计一种有着最大可能图像质量的光学路径，而这同时包括最小化畸变：在完美的示例中，显示面板的矩形像素网格将显示为等量矩形像素网格。在诸如看着矩形智能手机这样的直接视图场景中，这一点很少有纳入考虑。在诸如AR显示器这样的复杂光学设置中，为了优化其他参数，图像畸变通常成为需要忍住的要素。

幸运的是，与现实世界畸变相比，只要显示器合理校准（畸变很大程度上是取决于视图），虚拟内容的畸变可以有效地进行解决。通过恰当的校准，所述畸变可以作为渲染管道的一部分进行处理，而处理成本很低或者为零。不过，取决于系统的光学畸变量，这可以带来显著的伪影，比方说特定区域的显示分辨率出现大幅降低。

通常来说，波导的畸变相当低，这样至少消费者用例可能会予以忽略（没有通过数字方式进行校准和校正）。自由空间组合器（和VR显示器一样）通常会生成需要进行恰当处理的严重畸变。由于畸变图像非常不规则，所以显示面板的有效区域可能同样会减少。下图是自由空间设计的示例性畸变网格。可以注意到，网格的一部分落在显示面板之外，并且用户不能观察到显示面板的一部分（没有网格的黑色区域）。 下图同时说明了顶部和底部之间的分辨率差异。

2.9 人眼安全

在谈论AR显示器时，两种类型的人眼安全十分重要：确保眼睛不受AR显示器的影响；确保AR显示器保护眼睛免受外部伤害。

确保眼睛不受AR显示器伤害听起来像是不费吹灰之力。显然，任何产品都必须满足这个要求。但对于距离最脆弱的人体器官仅几厘米的近眼显示器而言，我们必须特别小心。这变得尤为重要，因为大多数AR显示器是将玻璃元件作为光学堆叠的一部分。在发生撞击时，玻璃元件可能会破碎并伤害用户。所以，我们需要将所有玻璃元件整合至不易破碎的护盖之中。

尽管这听起来十分明显，但事实并非总是如此。例如，最近发布的联想ThinkReality就把反射性波导波导直接放在用户眼睛前面，没有任何护盖。由于这种波导是由众多以水平条纹粘在一起的小玻璃元件构成，所以它们很容易损坏并对用户造成伤害。

保护眼睛免受外界伤害通常只商业和工业环境中的要求。对于所述领域，诸如ANSI Z87.1之类的眼睛保护安全标准描规定了评为安全眼镜所需承受的力类型。

2.10 适眼距

与视窗相同，适眼距没有通用的定义。简单来说，它是指瞳孔到AR显示器最近点的支持距离。由于并非所有用户都具有相同的头形，所以在实践中需要支持一定范围的适眼距，从而限定视窗的厚度（沿着观察方向）。

通常来说，优选足够支持常规眼镜的适眼距，这样存在视力问题的用户就无需购买定制透镜。但如前所述，视窗实际上不是一个方形，而是圆锥形，并且会随着显示器的距离变大而变薄。所以，支撑大适眼距，以及宽度和高度足够大的视窗非常具有挑战性。

2.11 外围视觉

当谈到AR眼镜时，我们关注的不仅只是一个视场，而是两个视场：AR眼镜用于显示虚拟内容的可视觉增强区域，这是大多数文章和规范所指的视场；但人类可以感知的视场范围要大于当前AR显示器的可视觉增强区域，而我们将可视觉增强区域之外的视场称为外围视场。另外，我们需要确保不能过分遮挡外围视场。

人类视场是单眼约150度×120度，双眼加起来是220度×120度。将显示器放在眼睛前面会造成额外的遮挡，所以一个重要的设计目标是将这种遮挡保持在最低限度。下面是人眼视图（绿色），无遮挡视图（红色）和可视觉增强视图（蓝色）的尺寸对比示意图。为简单起见，所有区域都绘制为矩形。

因此，除了最大化可视觉增强视场（蓝色区域）之外，第二个目标是最大化非遮挡视场（红色区域）。要做到这一点，任何遮挡视图的元素都需要向外拉。这包括显示器部分（如投影仪），以及诸如传感器这样的元件或诸如镜臂这样的支撑结构。

与上面的简化示例图不同，实际的视场不是矩形。如下图所示，视场主要受眉毛，鼻子和脸颊的限制：红色和黄色的组合区域描绘了左眼视场。类似地，绿色和黄色区域描绘了右眼的视场。黄色区域则描绘了双眼重叠，亦即双眼都可以观察到的视场。

2.12 色差

透镜的折射率随光波长而变化，这导致不同的“颜色相关”焦距。在相机中，这一般是通过组合多个透镜来进行补偿，但由于尺寸限制，这对AR显示器而言通常是不可能的事情。所以，色差是AR显示器中引人注目的问题。尽管可以在软件中校正一定的像差（通过适当的校准），但其他效果更难以解决（取决于视图）或者不能校正。一如既往，最佳的途径是尽可能地以光学方式而非数字方式来减少伪影。

2.13 深度感知

有多种人类视觉线索可以允许我们感知深度。对于AR显示器，两个最重要的线索是视觉辐辏（眼睛旋转以观察相同的对象）和视觉调节（瞳孔聚焦对象）。它们是神经耦合，而不匹配的视觉辐辏和视觉调节会造成用户不适，亦即所谓的视觉辐辏调节冲突（VAC）。

大多数人在观看3D电影时都会注意到VAC：尽管焦点永远不会改变（电视或投影屏幕不会移动……），但由于我们的眼睛看到略有不同的图像（立体内容），我们依然能够感受到3D效果。在电影院中，焦平面由房间设置给出：如果你所坐的位置距离投影墙10米，焦平面就固定为10米。在这个距离下，人类几乎不能根据瞳孔焦点区分距离。所以，只要立体内容停留在这个距离或更远，画面看起来就会自然。

对于AR显示器，焦平面是光学路径的设计参数：即便显示器与眼睛的距离只有几厘米，焦距平面都总是设置得更远，因为人类无法聚焦于这么短的距离，而且这没有任何意义，因为虚拟内容会出现在更远距离。

下面的图例说明了正常视图，虚拟现实和增强现实之间的差异：在正常视觉辐辏和视觉调节同步的情况下，两者都调整到相同的距离；对于虚拟现实，视觉辐辏始终位于相同的距离（通常约为两米），而视觉调节取决于以立体形式渲染的屏幕内容；对于增强现实，两者的冲突甚至可以更大：通过虚拟内容增强的对象看起来是与视觉调节同步，但对于真实对象和虚拟对象的视觉辐辏可能非常不同。

理想情况下，我们能够为每个像素选择不同的焦距，而且行业已经演示了朝这个方向发展的实验系统。但是，这种系统需要非常长的时间才能达到商用水平。

如果我们必须使用单个焦平面的AR显示器，设计师就需要决定放置它的位置。最适合大多数场景的情况似乎是2米左右。焦平面应该为大致平坦且对所有颜色相同。这不是一个简单的设计目标，所以在测量今天的AR显示器时，你会注意到实际的焦点“平面”既不平坦，对所有颜色也不相同。

2.14 尺寸，重量和形状参数

显示器尺寸和眼镜尺寸是当今AR设备最具挑战性的设计参数之一。由于要求大视场和大视窗，所以很难令显示器变小。这就像要求一辆小型卡车同时具备大卡车的运载吨位。大型显示器会导致整体体积庞大，从而又造成AR眼镜实用性较差。眼镜越大，用户越容易撞到什么。

另外，较大的显示器通常会导致更重的光学元件。由于质量和折射率要求，当今AR显示器的众多光学元件都是由玻璃制成，而随着尺寸的增加，玻璃很快就会变得太重。

在2018年举行的Oculus Connect 5大会中，迈克尔·亚伯拉什指出AR眼镜的重量不应该超过70克。尺寸和重量不是独立于其他属性的参数。人体头部可以舒适地承受比70克更重的重量（如果重量分布均匀）。尽管承受很轻的重量都会很快造成鼻梁受伤，但耳朵可以承受更多的重量，而且头顶更加坚硬。重量分布比重量本身更为重要。例如，Meta2眼镜不是很重，但由于糟糕的重量分布，它给前额施加了非常大的压力。

2.15 光学效率

光学效率是指发光元件所发出的光线有多少实际到达用户眼睛。令人惊讶的是，今天大多数基于波导的显示器在光学效率方面都非常低，大部分仅为约百分之一。幸运的是，组合LCOS和LED的投影仪足够亮，可以为波导提供足够的光量。所以，OLED不是当今波导的选择。另一方面，对于组合器显示器（如Meta2），我们可以通过组合器元件具有的透明度来很好地控制光学效率：组合器反射率越高，它的光学效率就越高。但这同时会反射更多的环境光，所以到达眼睛的环境光更少（透明度降低）。

波导是今天占主导地位的AR显示技术。由于LCOS十分光亮但存在低对比度问题，而有着高对比度的OLED则存在低亮度问题，大多数人把目光投向了微型LED，因为这种类型的显示器有望实现更高的亮度水平。行业已经演示了分辨率和尺寸足以支持AR显示器的微型LED面板，但迄今为止都只是单色面板。要实现支持全RGB的类似规格面板，行业尚需多年的时间发展。

2.16 延迟

运动到光子延迟定义了从出现一个事件（运动）到显示器显示相应更新所需的时间。例如，当用户将头部向右旋转时，显示器索显示的内容必须相应地“向左移动”。对AR而言，延迟不是一个经过充分研究的主题，这主要是因为行业直到最近才实现了具有足够低延迟的系统。但人们普遍认为，对于光学透视显示器，5毫秒或更短的延迟已经足够。

除了算法和其他电子组件，延迟主要是受显示面板（OLED，LCOS）和显示协议（MIPI，DisplayPort，HDMI）影响。延迟和显示面板的选择是一个复杂的主题，因为它对电子组件和软件设计产生了巨大的影响。例如，执行线序（“滚动”）更新的OLED和执行色序（“全局”）更新的LCOS有着完全不同的数据传输和运动补偿策略。

2.17 杂散光

大多数用户和眼镜厂商都渴望一种形状与太阳眼镜类似的AR眼镜。尽管这听起来十分简单，但人们经常会忽视一个问题：杂散光。

AR眼镜的敞开程度越高，越多来至多余方向和光源的光线就能够进入系统。尽管AR显示器通常能够很好地应对来自前方的环境光，但来自侧面或用户后方的光线会引起严重问题。常规眼镜通常不会反射太多光线，所以问题不大。但AR显示器必须反射和弯曲光线，所以更容易受到杂散光的影响。衍射波导特别受其影响，来自侧面的光线会以彩虹伪影的形式出现在显示器（参见下面的右图）。反射波导的性能更好，但同样存在这方面的问题。某些设计可以减少杂散光，但对于其他设计而言，这个问题不像衍射技术那样容易解决。

2.18 视觉舒适度

在过去五十年间的头显发展中，业界投入了大量的努力来解决人类因素问题，尤其是立体图形显示器。视觉辐辏和视觉调节是一个众所周知的问题，另外还存在与双眼视觉相关的其他问题，而它们会对舒适性产生巨大影响。其中一个是被称为双目垂直角差。当双目显示器之间存在垂直视差或倾斜时，双目垂直角差就会出现。人类视觉系统难以忍受这一问题，并且可能会导致头晕，恶心，甚至呕吐。有时人们认为视觉辐辏调节冲突是造成这种症状的原因，但实际上这是显示器之间的轻微错位。1986年的美国海军训练文本指出，为了避免眼睛疲劳，双目镜筒轴的垂直偏差δ不应超过2弧分。

另一个可以影响舒适度的领域是双目重叠量。例如，不必将左右图像场完全重叠。实际上，通过故意不重叠双目显示来增加有效视场是一种常见的做法，这主要有两种方式：眼睛发散重叠和眼睛会聚重叠。通常，人类视觉系统可以容忍这种情况，因为由于鼻子的影响，左眼和右眼看到的现实世界图像不完全重叠。但在产生不适之前，用户之间有着不同程度的部分重叠。90％的部分重叠可以接受，而当重叠减少到70％时，表示不适的用户数量有所增加。

质量中心是另一个重要元素。尽管不是非视觉要素，但不适当的设计可能会给用户带来不必要的颈部不适。需要合理安排显示组件和驱动电子的放置，这可以帮助最小化重心的任何偏移。如果用户需要在一定角度范围内向上和向下查看，这可能是十分关键的一点。

3. 其他？

除了本文探讨的话题之外，还存在尚未进入商业系统的其他光学设计选项。今天大多数设备都能够在固定距离显示一个焦平面。Magic Leap One则更进一步，能够显示两个焦平面，但在显示器质量和透明度方面付出了巨大的代价。然而，人类能够区分大约十二种焦距，而目前的方法只能实现一两个。所以，业界已经开始研究可调节的焦平面，但对于大多数AR设备而言，迄今为止所演示的方法都过于复杂。

尚未进入商业系统的另一个功能是：在光学透视显示器中绘制黑色像素。今天的无源光学元件无法实现这一点，因为它们混合现实和虚拟的工作纯粹是添加性质。对于黑色像素，我们需要能够以每像素和每帧水平格挡真实世界光线。尽管LCD层可能是一种解决方案，但它会将显示器的透明度降低一半，并产生极化环境光的问题，所以这通常不是一种可行的解决方案。

我们同时没有探讨功耗和散热的话题。人类对靠近眼睛和脸部的热源非常敏感。所以，头显在面部和太阳穴区域消散的热量不应高超过一瓦特。基本上，今天所有的AR设备都产生了过多的热量。为了提高显示器的亮度，光学设计必须变得更加有效，而不仅仅只是增加显示器光源的屈光率。

4. 对未来的期待

一个常见的要求是扩大视场和降低眼镜尺寸（实现太阳镜般的形状参数），而这显然不利于改进我们上面讨论的大多数参数。与电子设备不同，小型化通常不是光学设计的选择或优势，因为它将带来缩小的参数，如焦距，视窗尺寸或适眼距。

除了少数参数之外，新的突破技术不太可能推动上面的大多数要素。例如，全彩微型LED的出现将使得更亮的小型投影仪成为可能，但这对整体显示器尺寸的影响有限。另一方面，光学领域的技术不太可能出现急剧的改变。

所以，我们需要很长一段时间才能实现具备太阳镜形状参数，大视场，高亮度，支持户外用例，以及其他远见者所畅想的元素的AR眼镜。与电池技术领域类似，我们更有可能看到各参数的逐年提升。