Meta深度分享：变焦头显以及用光场技术实现无重投影MR透视
“这个世界有两种人：认为虚拟现实将会改变世界的人；以及尚未尝试过虚拟现实的人。”
（映维网Nweon 2023年08月01日）为了令人类视觉系统完全相信所呈现的一切都是真实，从而实现与物理现实别无二致的视觉体验，VR头显必须满足一系列的条件，包括变焦、畸变、视网膜分辨率、HDR等方面。
所以，Meta Reality Labs的显示系统研究团队一直在进行各种探索。日前，他们特地撰文介绍了两个将要在SIGGRAPH 2023展示的原型设备：变焦头显Butterscotch Varifocal；以及利用光场技术实现无重投影VR透视的计算摄像头Flamera。下面是具体的整理：
“这个世界有两种人：认为虚拟现实将会改变世界的人；以及尚未尝试过虚拟现实的人。”
这是一句老话，当然，甚至可能有点陈词滥调的感觉。是的，有人对这个说法持怀疑态度，但我们认为他们只是没有遇到真正令人憬然有悟的合适VR体验。
尽管很少有事情可以带来如同你第一次经历VR时的“天呐”时刻，但近年来，我们已经看到了同样强大的未来。对于参加8月6日至10日在洛杉矶举行的SIGGRAPH 2023的与会人士，你将有机会两次体验类似的“天呐”时刻，而这要归功于Meta Reality Labs的显示系统研究团队的两个全新的演示原型。
Meta的光学科学家Yang Zhao和研究科学家Grace Kuo
第一个是Butterscotch Varifocal，它结合了我们自2015年以来就一直在研究的Half Dome系列原型的变焦技术，以及我们于2022年首次亮相的视网膜分辨率VR显示器。
第二个是Flamera，它是一个利用光场技术实现无重投影VR透视的计算摄像头。就像我们最初在2021年分享的反向透视演示一样，它的外观和功能与当代头显存在巨大的区别。
Butterscotch Varifocal和Flamera都属于研究阶段，而这里研究的技术可能永远不会成为面向消费者的产品。希望你们能明白这一点。
Butterscotch Varifocal
对于将我们沉浸在虚拟世界方面，今天的VR头显表现出色。然而，它们目前受到固定焦距的限制：任何距离眼睛1米左右的内容都是清晰可见，但如果过于靠近，大多数人都无法完全正常对焦聚焦。幸运的是，大多数VR开发者都有围绕这一事实进行设计，并将场景保持在一个舒适的距离，这样一切都能保持对焦。
但如果你在工作中使用VR，需要在虚拟屏幕阅读文本呢？或者有一个你希望近距离观察的有趣物品？这时正是变焦派上用场的时候。
通过利用眼动追踪技术，根据你的注视点将显示器移近或移离你的眼睛，系统允许你在不同的深度对焦，以获得更自然、更真实、更舒适的体验。将其与视网膜分辨率的显示器相结合，你就能获得清晰的视觉效果，可以与你用肉眼所看的效果相媲美。
光学科学家Yang Zhao表示：“这项研究旨在展示一种匹配人眼视觉清晰度的VR显示系统。视网膜分辨率意味着头显可以提供接近人眼感知极限的清晰细节。最重要的是，变焦显示器支持人眼的视觉调节范围，以便可以在不同的焦深感知高分辨率。”
Meta一直致力于在改善视觉舒适度的同时提高分辨率，而Butterscotch Varifocal则是团队八年研究的成果，据我们所知，它是第一个实现视网膜分辨率显示，亦即大约每度60像素PPD的变焦原型头显，这足以满足20/20的视觉灵敏度。
就某种意义而言，Butterscotch Varifocal是Half Dome和Butterscotch系列的最佳结合。利用Half Dome 1和2中成熟的机械变焦机制，它可以快速可靠地改变光学焦点。另外，它集成了过去Half Dome头显的完整渲染，畸变校正，眼动跟踪和变焦控制软件，从而能够支持完整的PC VR内容。同时，它使用Butterscotch显示器和光学元件作为实现视网膜分辨率的基础。
“所以我们为什么不叫它‘Half Dome 4’呢?”，显示系统研究总监Douglas Lanman解释道，“原因在于，与过去的Half Dome头显不同，这款头显只专注于展示视网膜分辨率体验，而且不一定采用最终适合消费者的硬件技术。”
为了通过现有的LCD面板实现视网膜分辨率，Butterscotch Varifocal缩小了视场，仅为50度，而Meta Quest 2的视场大于90度。另外，外形尺寸比Quest 2等消费类头显大一点。
Douglas Lanman补充道：“相比之下，我们在Half Dome 1到3的研究侧重于以一种完全实用的方式小型化变焦技术。我们围绕Half Dome原型的工作依然正在继续，但我们暂时停下来并演示Butterscotch Varifocal，目标是展示我们依然致力于变焦技术，并致力于在VR头显中提供更好的视觉灵敏度和舒适度。我们希望我们的社区能够亲自体验变焦技术，并参与推动这项技术的发展。”
Half Dome 3引入了电子变焦系统，而与之前的机械变焦系统相比，它大大减少了系统的尺寸，但考虑到所涉及的权衡，团队在设计Butterscotch Varifocal时选择回归机械式变焦方案。
Yang Zhao指出：“尽管Half Dome 3中的电子变焦解决方案强调小尺寸，重量更轻，并且完全是固态，但在光学设计中添加另一个光学元件或模块不可避免地会引入光线传输等性能损失或降低图像质量。对于Butterscotch Varifocal，我们的首要任务是创造最佳的视觉质量。所以，我们选择集成一个机械变焦系统，从而优化图像质量，同时降低系统尺寸和重量。”
正如硬件在Half Dome和Butterscotch项目中随着时间的推移而发展一样，软件同样在不断改进和成熟。
研究科学家Olivier Mercier表示：“为了创造一个优秀的变焦体验，硬件和软件都需要无缝地协同工作。我们对失真校正、眼动追踪、渲染和延迟的理解都得到了提升，可以利用我们最好的变焦硬件来发挥其最大的潜力。多年来，变焦技术已经从一个小众的研究课题变成了更多人感兴趣的方向。我们的变焦软件已经从一个不稳定的、研究性质的、一次性的主代码分支发展成为可以与我们VR平台的其他环节更好地集成在一起的元素。这使得与其他团队的合作变得更加容易，并确保变焦成为渲染管道中不可或缺的一环，从而获得更好的体验。这种更紧密的整合同时意味着，我们现在可以支持更多的游戏和应用，而不是像早期的变焦头显那样只能采用更简单的或定制的演示内容。”
最终的结果非比寻常。当你环顾四周时，吸引你注意力的内容能够神奇地对焦，而以前可能遭到忽视的小细节都会闪耀起来。以Ready At Dawn的《Lone Echo II》为例。从机器人底盘的纹理到丽芙头发的挑染，所有的细节都变得清晰可见。相关的演示将极致呈现开发者多年的热情努力和对细节关注，而这是前所未有的体验。
Yang Zhao评价道：“有了Butterscotch Varifocal，我们可以在VR中看到与现实世界所见的相似的分辨率和质量。这为在VR中构建令人惊叹的体验打开了诸多全新可能性。”
Flamera：对Passthrough透视的全新理解
当你想要一个完全身临其境的体验或者在尽可能大的屏幕看电影时，VR非常出色。但有时候，你会希望与外部世界有更多的联系，例如当什么出乎意料地进入你的游戏空间时，或者当你想把虚拟内容带到物理环境中时。这时我们就需要混合现实和Passthrough透视，因为所述技术可以允许你头显看到物理世界的数字再现。
诸如Quest Pro这样的现代头显在透视方面的表现十分出色（Quest 3会做得更好）。然而，今天的透视依赖于头显的前置摄像头。由于位差问题，它主要是通过计算来将图像重新投影到“正确”视图，但这可能导致视觉伪影。即便你能够把摄像头直接摆在眼睛前面，由于头显的厚度，视图依然会不够清晰。
研究科学家Grace Kuo指出：“为了应对这一挑战，我们头脑风暴了一个可以直接捕获你用肉眼看到的相同光线的光学架构。通过从零开始设计，而不是修改现有的头显，我们最终得到了一个看起来非常独特的，可以实现更好透视图像质量和更低延迟的摄像头。”
与传统的光场摄像头不同，Flamera在阵列中的每个透镜后面都有一个光圈。所述光圈可以阻挡不需要的光线，所以只有期望的光线能够到达眼睛。作为对比，传统的光场摄像头会捕获更多的光线，导致图像分辨率低得令人无法接受。所使用的架构同时将有限的传感器像素集中于光场的相关部分，从而产生更高分辨率的图像。
Flamera重新排列像素，估计一个粗略的深度图，从而实现基于深度的重建。
相关论文：《Perspective-Correct VR Passthrough Without Reprojection》
所有这一切的结果是，通过头显看到的物理世界更接近于眼睛自然看到的画面，而且与目前的商用头显相比，伪影更少，同时分辨率比传统的光场摄像头更高。这为未来更加真实的MR体验打开了大门，实现一种虚拟内容与现实世界无缝融合的视图体验。
Grace Kuo表示：“Flamera的光学设计在头显较薄时效果最好，这使得我们可以将透视摄像头尽可能地靠近用户的眼睛。然而，我们使用的摄像头传感器存在众多电子组件，会令头显变得更厚，所以我们必须设计定制的弯曲装置来移动它们。总的来说，从光场透视的概念到一个完整的、可工作的头显，这是一个令人兴奋的挑战。”
和Butterscotch Varifocal一样，Flamera的目标并不是要展示一种可行的消费产品，至少现在不是。
Douglas Lanman说道：“对于我们在光场透视方面的研究，我们专注于预览透视正确的MR透视体验。我们之前与SIGGRAPH社区分享了神经透视项目，使用机器学习方法合成比伪影少于现有商业系统的透视图像。然而，神经透视依然会产生重投影伪影，并且需要工作站级的GPU来实时操作。光场透视则采用计算成像方法，摄像头硬件和重投影算法设计成协同工作，从而极大地简化了合成具有正确视角的视点的计算挑战。”
研究科学家Nathan Matsuda是相关研究的先锋角色，他启动并管理了透视视点正确项目，以及反向透视和高动态范围VR项目。就像Half Dome Zero一样，所述项目产生的硬件通常十分笨重，甚至可能有点怪异。但它们是未来的潜在一睹。
Douglas Lanman指出：“我们的光场透视演示预览了如果我们能够完善驱动这个原型的光场摄像头硬件，MR透视可能有一天会变成什么样子。与反向透视一样，它在这个原型中可能看起来非常怪异，但我们希望社区能够从他们的早期演示中得到启发。它为透视正确传输指明了一条前进的道路。它在今天看来可能很‘古怪’，但很可能在未来被证明是实用的，能够满足未来MR头显的用户体验和形状挑战。”
Grace Kuo补充道：“我们设想了一种允许你戴着头显与周围环境无缝交互的透视体验。高质量的传输允许我们能够令人信服地将数字内容叠加到对物理世界的感知，同时利用VR头显的高对比度、宽视场显示器。我们专注于透视的一个重要方面，亦即摄像头视角。我们的演示首先展示了正确视角下的透视效果，并且没有计算透视方法造成的失真。”
总结来说：前面的路依然漫长，但这是一个充满希望的开始。
Demo or Die（要么演示，要么毁灭）：回归SIGGRAPH
显示系统研究团队多年来一直在进行研究和公开发布，而他们长期以来一直坚持“Demo or Die（要么演示，要么毁灭）”的精神。
Douglas Lanman说道：“对我来说，‘Demo or Die（要么演示，要么毁灭）’这个说法起源于麻省理工学院媒体实验室，我和其他数千名研究人员都在那里学到了这个咒语。关键是通过演示来解释‘为什么’，而不是‘是什么’，从而帮助刚接触相关技术挑战的人员理解为什么他们想要这样一项技术，比如变焦、光场透视和HDR。我们可以演示一种近似体验，给大家预览如果这项技术能够以一种实用的、可扩展的方式完全实现，最终体验将是什么。这正是SIGGRAPH的核心：展示新兴的，主要是硬件驱动的技术，并以此鼓励SIGGRAPH社区将他们的才能发挥在计算机图形和交互中的特定问题之上。”
例如，经过大约一年的内部演示和用户研究，高动态范围头显原型Starburst取得了令人振奋的成功，并获得了SIGGRAPH 2022新兴技术最佳展示奖。
Nathan Matsuda回忆道：“这段经历对我们这群参与其中的人员来说非常棒。我们会见了众多HDR显示领域的杰出人士，以及一系列来自不同背景的有趣人士，包括首席执行官、主要电影制片厂的高管、美国宇航局的科学家。演示的成功促使我们加倍努力向社区展示我们的工作，并成为我们今年演示的蓝图。特别是，我想尝试用一种科学博物馆的方式来解释我们去年的工作，将硬件的分解视图作为展位的中心。事实证明，这是一种非常好的机制，可以向具有广泛不同技术专长的人员解释我们的研究，吸引参观者，确保大家在排队时保持兴趣。因此，今年我们将在这两款原型机方面复制这一点。。”
显示系统研究团队喜欢用特别的命名来强调其工作重点。这是一群多才多艺的人员，他们跨学科工作，以实现独特的，整体的，并且经常是意想不到的解决方案，从而应对行业面临的挑战。例如，过往的North Star北极星旨在是向世界展示一条潜在的前进道路，不是强调产品化，而是用敏锐的远见来激励其他人看到这项研究的前景，并承担起责任推动我们所有人走向更光明的未来。现在，显示系统研究团队正继续朝着这个方向不断努力。
Douglas Lanman表示：“在SIGGRAPH展示研究一直是我们的计划。对我自己来说，从十多年前我第一次演示光场显示器到今年我们展出的两个原型机，SIGGRAPH新兴技术展一直是我职业生涯中最重要的活动。我们曾希望展示过去的Half Dome头显，但新冠疫情阻止了相关的计划。整个团队都非常高兴做到‘Demo or Die（要么演示，要么毁灭）’。作为一名VR/MR爱好者，我非常高兴大家能够根据我们的原型而不是新闻稿来评判我们。”
对于希望读者能从这个故事中得到什么，团队的回答是：
- Grace Kuo：“我认为透传是一项重要的技术，可以允许人们在穿戴头显期间与周围环境保持联系。通过构建没有商业化产品限制的演示内容，我们可以测试新技术并展示VR中的不同体验。即便头显的外观与我们今天所习惯的设备非常不同，但我希望尝试了演示内容的人能够瞥见未来VR的样子。”
- Yang Zhao：“通过我们的工作，我希望人们能够从第一人称的角度看到VR可以为他们解锁的体验和能力。这可能不是他们可以马上在商店里买到的东西，但如果有需求，而且技术继续进步，总有一天会实现。”
- Olivier Mercier：“VR的可能性和市场现有产品之间存在巨大的区别。我们的两个SIGGRAPH新兴技术演示提供了一个独特的机会，可让你看到如果每个轴都推到更高的质量，在不考虑可产品化限制的情况下，这会怎样帮助创造更逼真的虚拟体验。”
- Douglas Lanman：“我希望计划参加SIGGRAPH的人员抽出时间来看看这两个演示。尽管我们不能确定所述技术何时可以商业化，但我们确实相信，与社区分享它们将加速支持变焦显示和透视技术的发展。SIGGRAPH是一个拥有大量才华横溢的人员的社区，即便只有一小部分成员将他们的注意力转移到所述挑战，这都会促使VR/MR开发出更好的视觉体验。对于SIGGRAPH之外的人员，我希望他们能够从我们这支小团队在不断继续寻求解决跨越硬件和软件的艰巨挑战的事实中得到启发，并与更广泛的社区公开分享。我同时希望他们会对正在解决的具体问题感到兴奋，亦即为全VR和新兴的透视MR体验制作更好的视觉效果。”
值得一提的是，在被问及这项研究在推动AR/VR行业向前发展方面发挥着什么作用，以及对于质疑/批评这项研究迄今都没有产品化时，Douglas Lanman给出了以下回应：
这个问题有点像回答披头士乐队和滚石乐队哪个更好？我的意思是，对于行业而言，研究实验室和在产品团队的工作之间存在一个典型的区别。选择其中一种职业对你的职业生涯有利有弊。
对于显示系统研究团队的成员，我们决定探索行业的前沿。有了一支小小的研究团队，我们可以为任何给定的概念建立少量的原型。但我们必须承认，原型机中的大多数最终都不会在我们公司或其他地方找到成为消费产品的途径。有些原型无法大规模生产；有些原型旨在解决的问题并不重要，不足以证明可以在产品尺寸，重量，成本或功率方面为其做出妥协；还有一些原型需要首先等待其他几技术成熟。
以变焦为例。我们首先从20世纪90年代的论文中了解到这项技术，然后我们从2015年开始研究，并于2018年首次公开谈论它。即便是对于今天的产品，这都将是一个漫长的过程。在这段时间里，我们见证了Oculus作为一家初创公司的崛起，并最终推出了三代主要的头显，每一代都是在上一代的基础上发展起来。产品团队需要带着商业考虑快速前进，而研究团队拥有这样一个特权：考虑未来的可能，而不是现在需要什么。研究无法控制产品团队何时选择一项技术。同时，如果我们正在解决的是他们不会立即面临的挑战，他们可能需要等待很长的时间，直到他们发现自己需要一个我们早就设计好的解决方案。
所以，作为一名研究科学家工作了近二十年的时间后，我对这一点有了不同的看法：研究的主要责任是指出尚未定型的产品。过去没有人要求变焦或解决视觉辐辏调节冲突。过去没有人要求光场透视或反向透视。我们首先构建这种演示是为了向我们自己（然后是我们的产品团队同事）展示所述问题是值得关注的，而我们现在正在与更广泛的SIGGRAPH社区一起做这件事。
我们谈论新兴的显示技术已经有近十年了，比如变焦。我们不知道这个行业什么时候会把这种技术应用到产品中，但我们有信心，这种演示将说服大多数人，向其证明所述挑战值得解决。我们非常期待听到SIGGRAPH与会者对所述挑战的看法，以及我们提出的两种技术解决方案。
顺便说一下，更好的乐队显然是披头士，因为他们总是愿意尝试新事物。
