Holochip研发基于Vulkan Ray Tracing扩展的光场实时渲染方法

小编刘卫华 | 分类：快讯 | 2020年12月26日

加入映维网会员

基于Vulkan Ray Tracing扩展的光场实时渲染方法

（映维网 2020年12月26日）在过去两年里，Holochip一直致力于为美国海军的宙斯盾计划开发光场技术。这个项目要求可以适应水平和垂直实时视差的桌面光场显示。Holochip负责OpenXR的团队在2020年10月发布了一个开源Vulkan示例项目，并开始利用OpenXR API开发光场显示技术。经过一番努力，Holochip发现了一种基于Khronos Group的Vulkan Ray Tracing扩展的光场实时渲染方法。

1. 理论背景

光场可定义为一个向量函数，其描述了光线在给定空间中穿过每个方向的每个点的光量。虚拟对象的完整光场表示与真实物理对象在外观方面没有区别。你可以将光场想象为科幻小说展示的全息甲板。就其性质而言，这种幻想与光场最终可以产生的场景非常相似。

尽管光场渲染目前离全息甲板尚有非常遥远的距离，但光场渲染显示器在今天已经有了长足的发展，可以实现虚拟渲染场景的可见体三维，并允许用户自然地从多个角度进行查看。然而，这种先进光场技术在渲染复杂度方面需要付出巨大的代价。毕竟，要实现可见的透视图，你必须首先对其进行渲染。

2. 裸眼3D立体渲染

虚拟现实主要是从两个角度进行立体渲染。每个场景都必须从两个独特的视角进行渲染，模拟用户左眼和右眼所看到的情景。两种视角都呈现给用户，从而允许其自然地体验场景的深度。

从最左边看

从中间看

从最右边看

光场显示器通过同时呈现多个透视图来提供这种裸眼3D图像。例如，Looking Glass显示器能够呈现仅水平的光场，能够从任何水平位置显示立体图像。要实现这种令人印象深刻的显示器，每个场景都必须渲染45次，以覆盖45个独立的视锥体。

为了在水平方向和垂直方向实现完全视差，渲染要求将呈指数级增加。如果你希望用户能够围绕显示屏走动，则从45个视图开始，仅沿水平轴渲染三维光场的内容将增长到数千个视图。实现这种全视差显示器将允许桌面光场图像显示成为可能，或者通过进入一个CAVE式空间进行体验。这一成就需要同时渲染数千个视锥体。

即便是最新款的硬件，它都无法实时渲染大量的视图；就算可以找到能够生成所有所述视图的硬件，你都需要面对将渲染图像传输到显示表面的问题。

3. 光场的工作原理？

市场存在多种光场显示器。但为了从各个方向渲染场景，每种方法都需要应对类似的指数级视口渲染问题。

当前的光场显示器由覆盖在2D显示器之上的光学层组成。这种配置会致使每个像素以受严格约束的光束形式发射光线。所以，通过照亮一组像素，可以由再现特定3D场景的3D显示器发射一组光线。最终的目标是允许2D-LCD显示器产生一个穿过光学元件的辐射图像。

正在呈现的辐射图像，显示器前面无需任何光学元件。这是由普通二维显示器显示的同一场景

4. 用户如何与光场交互？

OpenXRAPI允许描述输入如何在3D场景中工作的动作。OpenXR在3D对象交互方面的性能出色，但成熟的用户界面约定仅适用于2D设备；3D用户界面约定正在积极开发和研究中。OpenXR动作定义所提供的交互正是3D渲染器（如光场）所需要的拼图。Holochip已经为Collabora的开源Monado OpenXR运行时开发了一个扩展插件，它支持光场渲染和任何动作兼容系统的输入，包括手势识别。

5. Holochip发挥了什么作用？

Holochip发现了一种利用光追渲染的技术，并挑战了CG光场渲染的设计方式。在一个光场显示器描述场景的虚拟camera不必从空间中的一个位置开始。这一发现使得人们意识到，Vulkan Ray Tracing扩展可以显著降低全视差显示的渲染成本。基于这一见解，Holochip创建了一个层叠在Vulkan之上并能够为全视差生成所需视图数量的API，而且渲染成本与为同一显示器生成单一视图相同。

Vulkan Ray Tracing是所述技术的基础，因为这个新标准允许你在保持投射到场景中的光线数量同时改变camera的位置。无论光线从什么位置开始，数字都将保持相等。

camera在水平光场中移动

Holochip方法的优势

保持全光追性能：得益于Vulkan Ray Tracing扩展，实时全视差光场渲染现在不仅只是可能，而且成本与传统的实时渲染相等。如果可以使用传统光追来渲染场景，则可以使用几乎相同的硬件将同一场景渲染为光场。
易于采用：Holochip突破性的光场渲染API插件正在设计和开发之中，可原生支持Unity、Unreal和本机引擎API。更多信息请联系holochip.com。