显示技术专家Karl：AR/VR设备中视差校正技术与挑战
视差校正
（映维网Nweon 2025年02月12日）近眼显示技术专家卡尔·古塔格（Karl Guttag）正继续自己的分享。日前，他讨论了视差（Disparity）校正的问题：
介绍
多年来，最大的未解决视觉因素问题似乎是视觉辐辏调节冲突（Vergence-Accommodation Conflict/VAC）。Magic Leap One试图部分解决这个问题，然后放弃，而Magic Leap Two转向更好的图像质量和其他因素。
接下来，对于Orion，Meta开始谈论视差（但不支持）并申请“视差校正”专利。
在对Orion波导的进一步研究中，我发现Magic Leap在2022年2022 AR/MR/VR大会介绍Magic Leap Two时讨论了Meta所说的“视差校正”，但Magic Leap更一般地将其称为光学校准校正。
“视差”一词的来源
Meta是我看到第一个使用术语“视差”来描述由于镜架挠曲而造成的光学失准，但我找不到证据。在AR/VR/MR 2022的Visual Human Factors讨论会中，有一个得到Meta资助的伯克利研究员同样使用了“视差”这个词，但我不知道是谁影响了谁。Avegant同样有说“视差”，但这可能是由于Meta的影响力。但Magic Leap在近三年前的演示中并没有使用“视差”一词。
但如果我抛开Meta可能产生的影响，我们会发现AR/VR背景之下的“视差”一词与维基百科对视差的更广泛定义是一致的，它适用于人类视觉系统，用两只眼睛之间的视差来感知深度。
-
双眼视差是指左右眼在水平距离（视差）下所看到对象的图像位置差异。大脑利用双眼视差从二维视网膜图像中提取深度信息。对于计算机视觉，这是指两幅立体图像中相似特征的坐标差异。
-
图1：整个黑色圆圈为注视点。蓝色的对象离观察者更近。所以，它有一个“近”视差dn。距离较远的对象（绿色）相应地具有“远”视差df。双眼视差是两条投影线之间的角度。其中一个是从对象到实际投影点的实际投影。另一个是穿过注视点叉点的虚投影。
2020年由布鲁克·克拉扬奇（Brooke Krajancich）、彼得·克伦霍夫（Peter Kellnhofer），戈登·韦茨坦（Gordon Wetzstein）撰写的论文《Optimizing Depth Perception in Virtual and Augmented Reality through Gaze-contingent Stereo Rendering》讨论了“视差扭曲”的问题和原因，但没有提到眼镜挠曲。他们讨论了渲染错误和光瞳对齐。或许更有趣的是，其中两位作者克伦霍夫和韦茨坦，除了是大学教授之外，他们同时供职于谷歌在2022年收购的MicroLED厂商Raxium。
我不想吹毛求疵，但想指出的是，“视差”有更广泛的含义，除了镜架挠曲之外，还存在各种形式的视差错误。可能其他人已经在镜架挠曲的背景下使用了“视差”，但Meta是我见过的第一家使用“视差”一词来表示由于镜架挠曲而导致视差错误的公司。
造成视差的人类因素
除了设备的挠曲问题外，大多数人的两只眼睛和鼻子之间以及垂直方向都有一定程度的不对称。这不包括佩戴眼镜时的变化。因为眼镜离眼睛非常近，所以相对于观察远方的现实世界对象，微小的差异都会产生倍增效应。
我不知道答案，但探究所有的因素以及镜架挠曲相对于其他因素的重要性会非常有趣。
AR/VR/MR 2025 Human Vision Science讨论会
“小组讨论：人类视觉科学和AR/VR中的视觉体验”由来自谷歌的比约恩·弗拉斯坎普（Bjorn Vlaskamp）主持，小组成员包括约克大学的劳里·M·威尔科克斯（Laurie M. Wilcox），谷歌的亚历山德拉·博姆（Alexandra Boehm），加州大学伯克利分校的乔治·奥特罗米兰（Jorge Otero-Millan），Meta的斯科特·穆迪森（T. Scott Murdison），加州大学伯克利分校的艾米莉·库珀（Emily Cooper）。
艾米莉·库珀（上图最左边）在她的介绍中表示，她有Meta资助的研究。我之所以指出这一点，是因为：她和Meta使用“视差”一词之间可能存在联系；因为她在人类视觉因素方面有非常有趣的论文和见解。
我认为这个小组对人类视觉因素的讨论非常有趣。这群研究人员讨论了可能会对视觉舒适度产生不利影响的诸多不同挑战。下面是部分介绍性幻灯片。
备受讨论的VAC，如图（右上）所示。他们同时讨论了视差问题（可能是更广泛的定义，而不是Meta Orion的镜架挠曲相关定义），以及单目和双目在视差方面的优缺点。
头显没有足够小的IPD
其中一位小组成员提出了这样一个事实，即女性的IPD通常比男性小，而且有的头显不支持足够小的IPD调整。如果头显显示的IPD大于用户眼睛的IPD，则在查看（虚拟）远方的虚拟对象时，眼睛将需要发散，而眼睛和视觉系统通常根本无法做到这一点，或者即便是短时间使用都会造成问题。
IPD小于实际使用距离会导致视距问题，但除非情况严重，否则不会引起不适。从设计角度来看，我们可以理解支持较小的IPD可能会更加困难，特别是在VR头显中的显示器和光学元件需要移动，较小的IPD会造成物理碰撞。
Meta的演讲包含视差
Meta Reality Labs的杰森·哈特洛夫（Jason Hartlove）介绍了团队尝试在增强现实中解决的关键问题，包括分辨率、动态范围、色域、帧率、延迟、VAC、市场、自由度和双目垂直视差校正（用于镜架挠曲）。下图取自垂直视差校正的幻灯片。
由于镜架挠曲造成的视差只是一个因素
我假设Meta计划通过某种方式操纵两只眼睛的图像来纠正由镜架挠曲引起的视差。我假设这种方法同时需要包括某种形式的眼动追踪，以基于人眼位置（可能是不对称的），以及眼镜的佩戴方式进行校正。看起来，如果要完全纠正所有因素，可能需要大量的物理硬件（传感器）和处理（硬件和电源）。
Avegant的演讲包含视差
Avegant介绍了他们在AR小型LCOS显示投影仪方面的进展。他们更多讨论的是如何打造投影仪，使其更适合眼镜。
但在演讲的最后，Avegant展示了用于纠正双目对准/视差的micro-gimbal技术。对于一家如今以光学产品闻名的公司来说，这并没有看起来那么遥不可及。Avegant的创始人曾在密歇根大学学习MEMS技术。
poLight和Cambridge Mechatronics的视差校正技术
我之前的文章提过Cambridge Mechatronics和poLight Optics Micromovement，而Avegant的视差校正设计令我想到了这两家公司，它们都有移动/调整光学元件的微型技术。这两家公司都有用于智能手机对焦和光学图像稳定的技术，但可以想象，他们各自的技术可以应用于视差校正。
poLight的工作原理是利用压电驱动器改变光学元件的形状，以令光线重新定向。
Cambridge Mechatronics则使用形状记忆合金（SMA）导线来非常精确地移动小型光学结构（下图）。
我曾提到过，我有看到两家公司讨论AR/VR/MR的视差校正问题，他们都表示正在研究这个问题。
双眼色差
前面关于“视差”的讨论是关于几何畸变。两只眼睛之间同样有色差。许多人，包括我自己，每只眼睛看到的颜色都略有不同。题为《立体视差改善色彩稳定性》的论文讨论了在现实世界中，照明和其他因素如何导致每只眼睛看到的颜色略有不同，而这可能会影响人类对物体的照明、表面形状和表面纹理的感知。
我认为人类视觉科学小组评论的另一个问题是左右眼之间的颜色差异，特别是衍射波导。我最近写了一篇关于Jade Bird Display的MicroLED补偿文章，讨论了双目融合和竞争。下面是相关研究的一张图片。
我在CES 2025大会见了Snap，讨论了为什么Snap调整了波导入光方向。Snap表示，这是为了提供更好的颜色融合（结合人眼感知的颜色）。下面的图片显示WaveOptics向下投射方向（上）和Spectacles 5左右投射方向（下）。
从衍射波导输出的光从输入光栅到波导远端的颜色和亮度不同。通过将波导相互旋转180度，就会产生平均效应。
下面是我通过Snap Spectacles 5左右波导拍摄的照片，以及我在Photoshop中生成的左右图像的50/50平均值，从而大致模拟了“融合效果”。人脸的改善最为显著。应该注意的是，在这个测试中，Spectacles 5没有执行颜色的“数字校正”。另外，Spectacles 5的视场角为46°，而JBD的视场角为30°，Spectacles 5的像素是JBD的4.58倍（LCOS vs JBD的MicroLED）。
结论
研究人员探索的许多问题（但不是全部）都涉及长时间使用。对于“数据零食”来说，存在一定程度的不完美可能是可以容忍的，但如果涉及长时间连续使用，就变得无法忍受了。我怀疑这种视差讨论将影响2025年进入市场的大量AI/AR眼镜产品。
我经常说，VAC是每个人都喜欢谈论的问题之一，但没有人提出切实可行的解决方案（有的人仍在开发解决方案，如Creal）。Magic Leap在AR/VR/MR 2022的演示中表示，VAC是一个重要的问题，但其他因素对视觉舒适性更为重要。Meta多年来展示了一系列不同的VAC方法，而它们对于光学透视（OST）设计都是不切实际的。
我们将不得不继续等待，看看视差是否会成为一个“热门话题”，以及厂商们是否跟进他们的视差校正解决方案（由于镜架挠曲或其他原因）。
