Meta显示系统负责人演讲：完美AR/VR头显的十大障碍
查看引用/信息源请点击：mixed-news
要开发近乎完美的VR头显，行业必须首先解决这十个障碍
（映维网Nweon 2022年08月17日）道格拉斯·兰曼（Douglas Lanman）供职Meta已有八年时间，并主要负责显示系统开发。在今年六月，Meta首席执行官马克·扎克伯格和Reality Labs首席科学家迈克尔·亚伯拉什（Michael Abrash）就有分享兰曼团队参与的原型。他们的目标是实现一种能够视觉再现物理现实的虚拟现实显示器，同时将其整合在紧凑头显之中。
但要开发近乎完美的VR头显，行业依然面临一系列的挑战，而道格拉斯·兰曼在今年的Siggraph大会就介绍了其中的十大障碍：
1. 高分辨率
目前的VR头显在分辨率方面依然离人类视觉十分遥远。为了令虚拟世界看起来像物理世界一样逼真、清晰，并且实现文本在中等距离的可读性，VR显示器的分辨率必须显著提高。
Meta认为单眼8K，像素密度60 PPD是初步目标。作为比较，当前的Quest 2单眼2K，PPD为20。
为了帮助研究人员体验“视网膜分辨率”，并评估其沉浸式效果，Meta开发了一款实验原型Butterscotch。兰曼指出，高分辨率显示器的开发和生产不是最大的问题。问题在于支持这等高分辨率显示器所需的计算能力。注视点渲染和云端串流可能有所帮助，但它们本身存在重大的技术挑战。
2. 更宽的视场
兰曼表示，行业在视场方面需要进一步努力。人类的水平视场约为200度宽。商用VR头显通常只提供100度的水平视场。另外，我们在垂直视场方面同样有改进的空间。
更宽的视场对透镜技术提出了巨大挑战，具体可表现为视场边缘的图像失真。这里同样出现了计算能力问题。视场越宽，VR头显需要显示的像素越多。这导致更高的功率要求和更多的废热产出。
3. 人体工程学
VR头显依然厚重。理想状态的VR头显需要足够舒适以支持长时间穿戴。
Pancake透镜和全息透镜可能会有所帮助。Meta的全功能Holocake 2原型显示了一个未来反向。但问题在于：Holocake 2使用定制激光器作为光源，但其尚未发展到可行的大规模生产水平。
4. 带视觉校正的显示器
完美的VR头显应该能够检测并补偿用户的视觉缺陷，这样存在视力问题的用户就不再需要传统的眼镜或隐形眼镜。
这个问题可以通过特殊的附件进行解决，但它们不是理想的解决方案。最佳方案是头显可以根据用户自身的视力来进行视觉调整。如果显示器自带视觉校正能力，头显设计师就不再需要考虑适配眼镜等问题。
5. 变焦
困扰现代VR/AR头显的一个重大挑战是视觉辐辏调节冲突。在现实世界中，人眼可以自然地对焦一个对象，而世界的其他元素则脱离焦点。VR/AR的问题是，无论你在数字世界中看向何方，你都只是盯着固定的屏幕，亦即看着相同的距离。换句话说，视觉调节（弯曲眼睛晶状体以聚焦不同距离的对象）永远不会改变，但视觉辐辏（眼睛向内旋转以将每只眼睛的视图重叠成一个对齐图像）却会出现，从而导致视觉辐辏调节冲突。
为了解决这个问题，Meta的研究人员开发了一种支持“渐进视觉”的显示器。所述显示器模拟不同的焦平面和模糊，从而帮助眼睛自然地看到虚拟世界。Meta的变焦原型称为Half Dome，而团队针对这个问题已经有大量的研究。
6. 支持所有人的眼动追踪
眼动跟踪是虚拟现实中的一项关键技术。它是众多其他重要VR技术的基础，如渐进视觉、注视点渲染和畸变校正。它同时可以在社交体验中支持眼神交流，并且提供新的交互方式。
不过，眼动追踪的一个问题是，它并不能支持所有人，毕竟不同人的瞳孔不尽相同。所以，行业需要一个能够覆盖广泛人口的可靠解决方案。否则，这项技术不但无法提供帮助，反而会令消费者感到失望。
7. 畸变校正
透镜固有地产生了必须由软件校正的图像畸变。瞳孔最轻微的移动都会导致细微但明显的畸变。它们损害了视觉真实感，尤其是与渐进式显示等其他技术相结合时。
为了加速校正算法的发展，Meta的研究人员开发了一个畸变模拟器。它可以用来测试不同的透镜、分辨率和视场，而无需构建测试头显和特殊透镜。
凭借这一独特的快速原型制作能力，团队首次能够进行用户研究，调查眼动追踪畸变校正。与当今头显中的校正软件不同，动态畸变校正利用眼动追踪来更新渲染的校正，这有可能产生今天静态校正所不能产生的始终稳定图像。
快速原型技术有望大大加快对VR透镜畸变和各种校正的研究，为未来VR头显减少畸变铺平道路。
8. 高动态范围（HDR）
物理对象和环境的亮度远高于虚拟现实显示器。针对这个问题，Meta构建了一款亮度峰值可以达到20000 NIT的原型Starburst。相比之下，HDR电视可以提供数千NIT，而Quest 2只能提供100NIT。
Starburst可以逼真地模拟封闭房间和夜间环境中的照明条件。不过，目前的原型机非常重，需要悬挂到天花板。另外，这个原型非常耗能。
值得一提的是，Meta认为HDR对视觉真实感的贡献要大于分辨率和可变焦距，但距离实际实现最为遥远。
9. 视觉真实感
完美的VR头显必须在两个方向都做到半透明。VR用户应该能够看到环境，而环境同样能够看到VR用户。这既是出于用户舒适性的原因，又是出于社会接受度的原因。
头显传感器记录环境并在虚拟现实中显示为视频图像。这称为“透视”的技术已经存在于商用VR头显中，不过质量很差。例如，Quest 2提供了一种黑白相间的透视模式，而“Quest Pro”则应该可以以更高的分辨率和彩色透视进一步实现质量提升。
然而，系统尚未实现物理环境的完美重建。有待解决的问题之一是，透视技术捕获的是从眼睛空间移位的世界视角，而这在长时间使用过程中可能会产生问题。所以，Meta正在研究人工智能辅助的视线合成，从而实时生成透视正确的视点，并实现高视觉保真度。
值得一提的是，Meta同时有在探索“反向透视”的技术。VR头显一般会遮挡用户的面容，但利用反向透视，第三人将可以看到VR用户的眼睛和面部，从而可以进行眼神交流或阅读面部表情。不过，所述技术尚未成熟。
10. 面部重建
空间共在感是Meta的最终目标之一。这家公司希望有朝一日人们能够在虚拟空间中实现如同现实世界一样的共在会面。为此，Meta正在展开名为Codec Avatars的项目研究。尽管团队已经在质量方面取得了长足的进步，但相关成本依然高昂。
当然，这方面的第一步是实时读取面部表情，并将其传输到VR头显之中，而Quest Pro将是Meta第一款提供面容追踪的设备。
