卡内基梅隆大学XR科研成果：用ConeTilt实现遮挡感知型多焦点显示器
倾斜光锥可以提供与物理遮挡相同的效果
（映维网 2020年12月23日）在映维网早前分享的SIGGRAPH 2020论文《Towards occlusion-aware multifocal displays》中，卡内基梅隆大学和Technion的研究人员演示了如何利用全新的ConeTilt运算符实现遮挡感知型多焦点显示器。
具体而言，人类视觉系统利用一系列的线索来感知深度，包括视差、视觉调节、运动视差和遮挡。为提供一种沉浸式用户体验，虚拟现实显示器必须能够同样提供所述的线索。多焦点显示器是满足视觉调节提示的经典方法之一。它将虚拟内容放置在多个焦平面之上，而每个焦平面的深度不同。然而，靠近眼睛的焦平面内容无法遮挡远方的焦平面内容。这会减损遮挡线索，并由于散焦模糊溢出而降低深度不连续位置的对比度。
优酷频道
这篇论文利用能够提供额外自由度的ConeTilt运算符来实现遮挡感知型多焦点显示器，方式是倾斜显示面板的每个像素所发射的光锥。团队发现，对于具有相对简单遮挡配置的场景，倾斜光锥可以提供与物理遮挡相同的效果。研究人员证明ConeTilt可以轻松使用纯相位空间光调制器来实现。利用一个实验室原型，卡内基梅隆大学和Technion证明了遮挡线索的存在和深度边缘显示对比度的增加。
日前，Siggraph采访了项目的两位研究人员卡内基梅隆大学博士生Rick Chang和副教授Aswin Sankaranarayanan。下面是映维网的具体整理：
可以谈谈论文描述的研发过程吗，你们的灵感是什么？
Rick Chang：ConeTilt显示器是一个令人愉快的副产品。我们原本是希望解决多焦显示器的遮挡问题，我们的初衷是利用光场显示器代替显示面板，并通过角度分辨率来控制虚拟对象发出的光。但我们很快发现，我们需要的角分辨率太高，而这会大大降低分辨率。我们同时考虑使用相位空间光调制器（SLM）来局部控制光场显示的空间角度平衡，但这使得系统过于复杂。后来，我在一次乘坐公共汽车时思考这个问题，看着路过的汽车，我突然意识到，要创建遮挡，我们只需要倾斜整个光锥。我非常兴奋并直接走进Aswin的办公室，在白板勾勒了一张图表。这就是我们提出ConTilt的由来。
Aswin Sankaranarayanan：一切都是Rick的功劳。他当时非常兴奋地来到我的办公室，在我的白板勾勒出了所述想法。当他说完之后，我马上就信服了。
下面谈谈技术方面。你是如何开发多焦点显示技术的呢？
Rick Chang：我是在2018年寒假的时候构建了这个显示器。我们的实验室刚刚买来了我们的第一个相位SLM。Aswin和我正试图弄清楚如何使用它：从安装、校准、选择光源到让它显示出漂亮的图像。我整个圣诞节都在实验室里度过。是Anat（Anat Levin，论文的另一位作者）帮上了忙。她积极参与，提出了大量有用的建议和见解。她人在以色列，所以我们不得不用网络摄像头来一个一个地检查原型。光学装置的远程调试非常有趣。
在我看来，提高图像质量的关键是安装在显示面板上的field lens。加入field lens使我们的推导更简单，相位函数更容易直观地理解。最大的挑战是如何将透明相位SLM像素与DMD（数字微镜设备）对齐。最后，我们通过改变偏振态，使相位SLM像振幅SLM一样来解决这个问题。
Aswin Sankaranarayanan：这是一个艰苦的过程，因为我们在制作显示器时发现了新的挑战。Rick可能至少从零开始重建了三次原型。原型中有两个痛点。第一个是必须对齐DMD和SLM，两个阵列，像素对像素。第二个问题与光源有关；SLM最好使用单色光源，但这种光源会产生严重的散斑。最后，Rick使用了一个足够窄的LED，它不会出现严重的相位失真，并且在这个过程中避免了散斑。
在SIGGRAPH 2020大会的演示中，你们最为兴奋的是什么？
Rick Chang：对我来说，ConeTilt最令人兴奋的地方是它能够通过硬件设计减少计算量。设备密集的焦平面允许我们用Z-buffer创建一个精美的三维场景，所以我们不需要渲染散焦模糊。ConeTilt进一步提高了保真度，它允许我们的眼睛移动，同时保持遮挡线索，无需追踪或重新渲染。只需简单地改变显示硬件就可以大大减少虚拟现实显示系统的总体计算负担，这非常酷。
Aswin Sankaranarayanan：对我来说，令人着迷的点是遮挡对深度感知的作用。
接下来的计划是什么？
Rick Chang：ConeTilt提供了一种在高空间分辨率下生成和操纵光场的新方法。我有兴趣了解这些功能是如何应用于虚拟现实显示器以外的领域。
Aswin Sankaranarayanan：我走相反的路吧。多焦点显示器将真正受益于SLM技术的进步。我们真的需要更好的调相装置。我觉得这方面的进步真的可以让ConTilt变得非常实用。
