Karl Guttag分享：为什么AR眼镜“硬边遮挡”依然不能实现
硬边遮挡依然不可能实现的原因
（映维网Nweon 2024年05月31日）在SID Display Week 2024，显示技术厂商Cogni Trax演示了用于AR眼镜的“硬边遮挡”，而近眼显示技术专家卡尔·古塔格（Karl Guttag）日前专门介绍了Cogni Trax的技术，以及硬边遮挡依然不可能实现的原因。
1. 介绍
正如我曾经所说，对于在会议活动展示的演示，“有时你看到的是一场与真实应用几乎没有关系的‘魔术秀’。”
我上周在SID Display Week 2024看到的Cogni Trax硬边遮挡演示正正说明了这个“魔术秀”概念。我知道Congi Trax已有至少三年时间，并我发现他们官网曾引用过我的话（我觉得有点断章取义）。
据报道，Cogni Trax在过去的大约7年时间里通过3轮融资筹集了710万美元。我联系了Cogni Trax的首席执行官萨贾德·汗（Sajjad Khan）（同时是Apple Vision Pro的前苹果光学设计师）。尽管知道我对他们的概念持怀疑态度，但他非常慷慨地回答了我的问题。
2. 柔边遮挡（Soft-Edge Occlusion）与硬边遮挡（Hard-Edge Occlusion）
在AR中，你是将数字内容叠加到真实世界视图，而这涉及数字遮挡真实。柔边遮挡（Soft-Edge Occlusion）是在AR眼镜的正面放置像素化液晶显示器/快门以调暗环境光，而这会导致非常“软柔”的边缘。硬边遮挡（Hard-Edge Occlusion）则是指逐像素精确的光遮挡，这可以实现轮廓鲜明的清晰边缘。
2.1 柔边遮挡
正如我之前评价Magic Leap 2时所说：柔边遮挡是一种面向投资者而非用户的解决方案。
在AR眼镜的正面放置像素化液晶显示器/快门以调暗环境光是一个十分常见的想法。它甚至有一个名称：柔边遮挡。将LCD放在镜片前面会导致非常“软柔”的遮挡。
尽管需要在对焦的空间图像处理硬边遮挡，但可以在散焦图像进行柔边遮挡，例如通过遮像素化调光面板。这种像素化调光器可以集成为LC层，或者作为偏振调光器，或者作为基于染色LC层的幅度LC调光器。
理论上，柔边遮挡用于选择性地大面积调暗现实世界，这样虚拟图像就可以在不调暗整个现实世界的情况下突显出来。对于Magic Leap 2的柔边遮挡，基本概念似乎十分简单：将透射液晶面板形式的“调光像素”放在波导前面，以阻挡现实世界的光线。
如果孔径缩小到一个非常小的“针孔”，则只有一小束光线会在图像平面形成一个光点。在某种程度上，孔越小，图像就越清晰但更暗。如果孔变得太小，衍射会导致光线模糊和阻挡，亮度与孔的大小大致成正比。
透镜“收集”来自大光圈的光，并将其对焦到一个点。光圈越大，图像越亮，大致与光圈的面积成比例。整个透镜为图像中的每个点收集光线。如果相同的透镜光圈更小，则图像区域保持相同的大小，并且不会出现截断；整个图像变暗。另外，如果光圈变小，对焦深度就会变大。
如果你在眼镜上面放一个像素大小的点，没有人会注意到。如果能够注意到，眼镜上面的每一粒灰尘都会引人注目，造成分心。这是因为距离眼睛只有几毫米的点高度失焦，来自现实世界的光线在被眼睛的晶状体聚焦之前会绕过这个点。这个像素点会使得虚拟图像中的几千个像素轻微变暗。正如之前所说，Magic Leap 2的调光像素将覆盖虚拟图像中的约2100个像素，并对数十万个像素产生调光效果。
2.2 硬边遮挡（光学和摄像头透视）
“硬边遮挡”是指逐像素精确的光遮挡。对于摄像头透视式AR（如Apple Vision Pro），进行硬边遮挡十分简单；一个或多个摄像头像素由虚拟图像中的一个或更多个像素代替。尽管遮蔽像素对于摄像头透视而言十分简单，但要确保硬边遮挡与真实世界完全对齐，你依然存在一个并不简单的问题。
对于光学混合现实硬边遮挡，你同时必须将真实世界对焦，然后才能对其进行精确遮挡。现实世界的光不是进入摄像头，而是进入反射掩模空间光模块（SLM），通常是LCOS，然后将其与虚拟图像进行光学组合。
我之前讨论过亚利桑那州立大学的硬边遮挡光学解决方案。他们的解决方案有一组光学器件，可以将现实世界对焦到SLM进行遮蔽。然后，偏振分束立方体将结果组合起来。尽管亚利桑那州立大学的专利提到使用偏振分束器来组合图像，但专利没有显示或提及SLM和分束器之间需要四分之一波片。发明人之一是亚利桑那州立大学教授，同时是Magic Leap的顾问，而专利授权给了Magic Leap。
除了体积大、笨重、光学性能差之外，亚利桑那大学的硬遮挡问题同时包括：
- 它只适用于在对焦设置的距离处进行硬边遮挡。
- 现实世界“扁平化”为与虚拟世界处于同一焦点。
- 极化使得现实世界至少变暗50%。
- 通过偏振分束器，真实世界至少变暗了2倍。
- 当眼睛移动时，真实世界的移动方式将与眼睛直视时不同。你通过两组光路更长的光学器件来查看现实世界。
尽管Cogni Trax使用相同的原理来遮蔽真实世界，但它的配置不同，而且体积更小、更轻。这两种设备都会阻挡大量光线。Cogni Trax的设计阻挡了大约77%的光线，而他们声称下一代产品将阻挡50%的光线。但请注意，这可能加上了光学系统中的其他光损失。
3. Cogni Trax在SID Display Week 2024的演示
从表面上看，Cogni Trax的演示让这个概念看起来行得通。演示中有一个智能手机摄像头通过Cogni Trax光学设备进行观察。如果你仔细观察，你会发现它们阻挡了来自现实世界的4个区域的光线（见下图中的箭头）：鞋面的耐克标志，QR码，瓶子里的可乐（带有移动的气泡），以及部分变暗以创造瓶子阴影的墙壁。
他们没有带虚拟图像的微型显示器；所以，它们只能阻挡或调暗现实世界，而不能替换任何东西。因为你不是通过自己的眼睛看图像而是通过手机，所以你没有深度损失和视差问题的感觉。
当我拍摄上面的照片时，我原本没有打算写一篇文章，所以没有拍下完整的设置。幸运的是，科技博主罗伯特·斯考伯（Robert Scoble）发布了一段相关的X视频。图中的六轴装备支持以六个自由度对齐相机和Cogni Trax设备。只有当场景中的所有对象都处在相对于相机/设备的精确位置时，这个演示才会起效。
可以说，开发SLAM、眼动追踪和3D缩放技术以消除对图中六轴控制装置的需求是“硬件和软件的小事”。然而，这个六轴控制装置说明了光学的基本概念及其局限性。
4. Cogni Trax第一代光学元件的工作原理
以下是Congi Trax用于绘制光路的专利图。我添加了一定的彩色处理来帮助你理解图表。专利中用于组合虚拟图像的虚线部分没有在Cogni Trax的当前设计中实现。
现实世界的视图需要经过一条相当痛苦的路径。首先，它通过一个偏振器，其中至少有50%的光丢失（理论上这个偏振器是多余的，但它很可能用于减少伪影）。然后，它通过一个对焦元件从偏振分束器反射回来，将现实世界对焦到LCOS SLM。LCOS装置将改变任何未被遮蔽的偏振，以便它在通过对焦元件的回程中通过偏振分束器。
接下来，光线通过“中继光学”，然后是四分之一波片QWP，离开反射镜，再通过四分之一波片和中继光学。通过“中继光学”的两个通道必须撤消通过对焦元件的两个通道对光所做的一切。通过QWP的两个通道会旋转光的偏振，这样光就会从分束器反弹，并通过一个净化偏振器直接射向眼睛。如图所示，光可以与来自微显示器的虚拟图像相结合。
我发现很难相信现实世界中的光会经历这一切，而且除了发生在它身上的偏振光损失之外，什么都不会表现出来。
Cogni Trax提供了一组图表来说明“Alpha Pix”的光路。我将他们的几个图表编辑在一起，并添加了红色注释。如前所述，当前的原型没有用于提供虚拟图像的微型显示器。如果实现了虚拟显示设备，其光学器件和组合器将位于所示的所有其他设备之上。
我不认为这是解决硬边遮挡的实用方法。尽管比亚利桑那大学的设计体积小得多，但它依然需要偏振入射光，并将其发送通过一条痛苦的路径，这将进一步损坏/扭曲真实世界的光。另外，这发生在他们处理添加虚像的问题之前。
同时，问题依然存在，即只有当被遮挡的所有对象都处于大致相同的焦距时，硬边遮挡才会有效。如果实现了虚拟显示器，则虚拟图像似乎需要处于大致相同的焦距才能被正确地遮挡。然后，你需要硬件和软件来确保虚拟世界和现实世界之间的一切与眼睛对齐。即便软件和眼动追踪非常出色，任何快速的头部运动都会造成滞后。
5. Cogni Trax波导设计/第二代
Cogni Trax的网站和视频讨论了第二代的“波导”解决方案。我从Cogni Trax找到了一项通过波导方法来实现硬边遮挡的专利，并且似乎与视频和网站所示的“波导”一致。我已经勾出了现实世界（绿色）和虚拟图像（红色）的路径。
方法不是使用偏振，而是通过单个德州仪器的DLP/DMD使用时序调制。DLP在部分时间内用于阻挡/通过来自现实世界的光，并作为虚拟图像显示。我附上了图1(a)，它给出了整个光路；图1(c)和1(d)显示了时间复用；图6(a)是设计的正面视图；图10 (a)和(b)分别显示了波导的真实光路和虚拟光路的侧视图。
除了不偏振外，光线同时需要经历一条更为痛苦的光路，其中包括一个“固定DMD”，通过时间复用显示和遮蔽DMD来校正现实世界的微倾斜。除了在第一代设计中遇到的所有问题外，我发现将相对较小的反射镜（图1a中的120）放在视图中间非常有问题，因为反射镜上方或下方的视图看起来与反射镜中的视图非常不同。
尽管理论上它可以提供更多的光吞吐量，并且不需要现实世界的偏振，但它只能通过缩短虚拟显示时间来做到这一点，这将意味着更多的潜在场顺序颜色分解和DLP的较低颜色位深度。
总的来说，我认为Cogni Trax的“波导”设计是用一组问题换取另一组可能更糟糕的图像问题。
6. 结论
或许我把硬边遮挡称为“圣杯”并没有完全传达出它的不可能性。我越是了解、研究和观察这个问题及大家提出的解决方案，就越清楚地表明它似乎是不可能实现的难题。是的，你可以实现一个在严格控制设置下，在大约相同距离实现遮挡的演示，但这只会是一场魔术秀。
Cogni Trax的演示并不是一次特别好的魔术秀，因为它使用了一个巨大的6轴控制装置来定位相机，而不是说允许用户戴上头显进行感受。另外，这个演示不支持虚拟显示器。
在我看来，Cogni Trax对未来“波导”设计的承诺存在根本缺陷。根据公开的记录，Cogni Trax尝试解决这个问题已有7年时间，至少在公开场合，高度人为的设置是他们展示过的最好的设置。这更像是一个大学实验室项目，而不是商业化开发的项目。
根据他在苹果和德州仪器公司的历史，首席执行官萨贾德·汗（Sajjad Khan）是一个非常有能力的人，但我不明白他为什么要做这样的蠢事。我不明白为什么在没有适当的技术尽职调查，除了盲目相信于前苹果设计师之外，会有人投资超过700万美元。我知道高风险高回报，但在我看来，Cogni Trax不属于这个类别。
