索尼《捉鬼敢死队》AR头显采用了什么光学显示技术
注：根据映维网了解，作者Karl非常专业，但也存在些偏见，偶尔有点“鸡蛋里挑骨头”。
（映维网 2019年10月15日）早前索尼为位于日本东京的银座索尼公园带来了一款基于《捉鬼敢死队》的线下AR体验，并在同一天发布了一段1分钟宣传视频。日前，AR硬件/软件企业Rave的首席科学家卡尔·古塔格（Karl Guttag）撰文分析了索尼的AR头显设备，下面是映维网的具体整理：
上周各大论坛都在好奇索尼在其AR头显中采用了何种技术。我（Karl Guttag）未能从海报或视频中发现足够的线索。我的突破来自于阿德里安·斯坦纳德（Adrian Stannard），他表示自己曾在SID 2019大会看过这款设备。阿德里安曾担任AR头显厂商Daqri的研发总监和首席光学工程师。
需要注意的是，为了尽快发布本文，我没有将其交给经常帮助我审阅校对的罗恩·帕德赞斯基（Ron Padzensky）。如有错漏，我提前道歉。
1. 识别技术
阿德里安只是在演示结束后只看了一眼索尼头显，并认为它看起来像是Lumus光学引擎，因为他看到了部分反射镜/半透半反射镜的条纹。从图片来看，它看起来确实与Lumus的OE Vision 1080p光学引擎十分相像，请参考AWE 2019的Lenovo原型。
尽管看起来十分接近，但根据我手上的较低分辨率图像，索尼光学元件的边缘要比Lumus引擎更加方正。同样奇怪的是，索尼视频显示他们采用的是LCD快门（下文详述）。需要快门表明显示屏亮度不足。但我知道Lumus引擎的亮度达到数千尼特，是目前最亮的光学引擎之一。
在阿德里安的指引下，我参考了位于2019 SID Display Week Digest of Papers的索尼论文（需要付费），并发现了一篇“Latency Compensation for Optical See-Through Head-Mounted with Scanned Display（包含扫描显示器的光学透视头戴设备的透射补偿）” 。正如论文标题所示，它主要讨论了AR头显的运动预测和预先补偿。他们采用的显示器是索尼的1280×768像素隔行扫描Micro-OLED。
除一张头显图片外几乎没有关于光学元件的线索，但图片的分辨率足够高，可以清楚显示出光学组合器，而这与视频中的头显非常匹配。
2. 光学技术
在左边，我放大了索尼的组合器，并对比了Lumus光学元件的图片。你可以看到，不仅只是边缘形状不同，它们同时是非常不同的技术。
首先，Sony光学元件阻隔了大部分光线，而Lumus光学元件几乎是透明。所以，你几乎无法在Lumus波导中看到“条纹”。从这个角度看很难判断，但索尼的光学元件似乎要比Lumus厚3至4倍。
对于Lumus波导，全内反射使得光线在波导内进行多次反射。上面提到的条纹名为光瞳扩展器，因为它们起到增加光瞳/视窗的作用。在Lumus结构中，光线最终穿过上方的条纹并到达下方条纹。如果条纹遮挡的光线了与索尼光学系统一样多，则几乎没有光线能够到达下方的条纹。
索尼选择了与Lumus不同的机制。它们不能仿效Lumus，Hololens，Magic Leap，Digilens和Waveoptics等采用大量全内反射的波导。索尼的设计可能最多是在正面采用一个全内反射，更像是自由形式光学元件。尽管索尼设计中的每个条纹都像Lumus一样可作为光瞳扩展器，但每个条纹必须采取一条径直路径。为了提供更直的路径，玻璃必须更厚。而且，较厚玻璃和条纹将有助于提高光通量。
3. 亮度问题
索尼头显中的Micro-OLED类型输出1000尼特。即使是非常明亮（且昂贵）的OLED都只有5000尼特。与600尼特的智能手机或200尼特的电脑显示屏相比，1000尼特至5000尼特听起来像是十分明亮。但对于透明显示器，AR组合器光学元件通常只能将不到10％的尼特传送到眼睛。
对于DLP和LCOS投影仪，由于它们可以高度准直LED光线，其光输出可以远远超过100万尼特。高尼特是DLP和LCOS与波导结合的通常原因，但你从未见过OLED与波导光学一起搭配。Hololens 2所采用的激光扫描光束能够在任何时候发出数百万尼特（如果光束停止扫描并停留于一点，其足以烧穿视网膜）。
除其他损耗外，波导的尼特输出至少受输入区域的面积所影响。我们不探讨复杂的数学计算和细节介绍，简单来说，对于Lumus这样的1.8毫米薄波导，Lumus几乎可以比典型的衍射波导好10倍。所以，如果他们将1000尼特的Micro-OLED作为输入，则输出的亮度将大大低于10尼特。除夜间之外，这对其他用例而言都过暗。这就是为什么你看不到Mico-LED显示器与常见波导配对，以及索尼采用不同结构的原因。
4. 索尼LCD快门
即使用上了光学组合器，尼特损失都可能会大于10比1。因此，如果从大约1000尼特的Micro-OLED开始，眼睛都可能只看到大约100尼特或更少。这种光损耗正是nReal等公司在使用Micro-OLED时选择了更为简单的Birdbath结构的原因。
在视频大约24秒的位置，他们启动了看似LCD快门的组件以阻挡大多数现实世界光线。我截取了快门启动前后的图片。
所以除了组合器元件阻挡了大部分光线之外，为了支持室外用例，他们增加了一个LCD快门来进一步阻挡周遭光线。
5. 帧缓冲后的延迟补偿和光学校正：是否可以使用ARM的Mali-D77显示处理单元呢？
索尼论文主要介绍了通过预先补偿以应对“动显（motion to photon）延迟”。我几乎是事后才想到这张帮助我确定组合器结构的头显图片。他们使用的Micro-OLED显示器使问题变得更加复杂，因为其采用了120Hz隔行扫描视频。如果不进行任何校正，除了其他延迟问题之外，当出现运动时它们会在所有边缘造成类似梳子的伪影。
论文指出，其硬件搭载了“将反向位移应用于帧缓冲器的渲染图像的畸变器）”，参见下图。另外，畸变器可以执行校正透镜失真的操作。这里的关键是，在将帧图像发送到显示器之前他们对帧缓冲区中的渲染图像进行了重要的处理。在帧缓冲区之后执行的处理称为“后端”处理。
基本思想是减少“动显（motion to photon）延迟”。为了做到这一点，他们在渲染完成后和接近于看到像素前对任何用户运动进行校正。另外，由于渲染的图像在帧缓冲区之后发生更改，所以任何透镜失真校正都必须在这一变换之后进行，因此也必须在帧缓冲区之后进行。
值得一提的是，在SID 2019大会，ARM发布了他们的Mali-D77“显示处理单元”。ARM在新闻发布会中谈到了一系列相同的“动显（motion to photon）”问题。巧合的是，索尼设计采用了基于ARM的内核及GPU和显示控制组件。在撰写本文时，我尚无法确认索尼的AR头显是否有搭载Mali-D77。
