研发实战:Oculus分享美术工具色调映射解决方案Graphics Showcase

查看引用/信息源请点击:映维网

Oculus相信色调映射是一个重要的美术工具

映维网 2021年08月19日)色调映射可以提供有用的各种全屏效果,包括gamma校正、颜色分级Lookup Tables(LUT)、color tint、渐晕、全屏淡入和其他。色调映射效果在渲染场景后利用应用于颜色缓冲区的全局着色器。通常,这需要额外的渲染过程。所以,大多数Quest开发者不使用色调映射,因为额外渲染过程的性能成本太高。UE4同样要求Mobile HDR(Quest或Quest 2不支持)使用色调映射效果。

Oculus相信色调映射是一个重要的美术工具,并构建了一个包含基于子通道且性能要优于传统技术的解决方案的Graphics Showcase。在特定配置中,色调映射子通道增加的时间仅为0.6 ms,与在第二渲染通道中仅存储颜色操作所需的时间相当(请注意,所述引擎改动仅支持Oculus fork of UE 4.26)。日前,团队的扎克·德雷克(Zac Drake)和洛伦·麦克夸德(Loren McQuad)撰文介绍了所述的Graphics Showcase。下面是映维网的具体整理:

Vulkan提供子通道以作为执行附加渲染操作的一种方式,无需完整的渲染通道。尽管子通道存在一定的限制,但它们非常适合色调映射。如果我们使用一个单独的渲染过通道,颜色数据将在第一个渲染通道结束时写入RAM,然后从RAM读回。利用子通道,我们可以访问依然在Tile Memory中的前一个子通道中的颜色数据,并避免写入和读取操作的延迟。子通道获取的一个限制是:我们只有当前像素坐标的数据,所以我们只能使用当前像素的数据应用效果。Bloom、模糊或景深等效果不适用于基于子通道的色调映射,因为它们需要来自周围像素的颜色数据。

在Graphics Showcase中,你可以看到色调映射子通道的三个示例。以下是未应用色调映射时的画面。

没有应用色调映射

如果看起来熟悉,那是因为它是在2016年登陆Oculus Rift的《Dreamdeck》。

下面是一个简短的演示视频:

要查看没有色调映射的场景,请按A将其关闭或重新打开。这将触发蓝图逻辑以设置“r.Mobile.TonemapSubpass=1”或“r.Mobile.TonemapSubpass=0”。你同时可以创建自己的逻辑,以便在运行时禁用色调映射。例如,如果仅在关卡开始和结束时使用色调映射进行淡入淡出,则可以在剩余时间禁用子通道。或者,如果希望它始终处于启用状态,只需在DefaultEngine.ini中设置“r.Mobile.TonemapSubpass=1”。

我们的每个效果都利用Post Process Volumes来控制其参数。对于Post Process Volumes的属性,你将看到一长串功能。并非所有都可以由Vulkan子通道支持,我们只实现了部分。但有了这个框架,你不需要花费太多的精力来实现其他功能,或者你可以通过自定义色调映射着色器来获得目标的效果。对于Graphics Showcase,我们利用多个Post Process Volumes来支持动态切换效果。如果你没有动态切换,一个Volume就足够。确保Volume已启用并设置为无限。

1. 淡入/淡出

你在Graphics Showcase中看到的第一个效果是淡入/淡出。它是通过关卡序列中的淡入淡出轨迹实现。当场景开始时,它从黑色淡入,然后淡出。如果没有色调映射,淡入淡出轨迹将不起作用,而且你必须使用包含透明纹理的camera attached polys来产生这种类型的淡入淡出。有了色调映射,只需将淡入淡出轨迹和几个关键点添加到关卡序列即可。

2. Color Tint昼夜循环

下一个效果再次使用关卡序列来修改模拟昼夜循环的Color Tint值。关卡的不同颜色键设置Tint值。当序列播放时,Tint在所述值之间混合,给人黎明和黄昏的感觉。你可以直接设置“Color Tint”值,而不是使用关卡序列。选择 PostProcess_DayNightCycle并依次导航Color Grading > Misc > Scene Color Tint。

3. Color Grading LUT颜色分级LUT

最后一个效果是使用LUT进行颜色分级。这允许我们完全改变游戏的调色板。LUT可以由美术根据Unreal文档创建,或利用Unreal Marketplace的数百个预制LUT。将LUT纹理添加到项目内容中,然后依次导航到Color Grading > Misc > Color Grading LUT下的Post Process Volume。

点击控制器B键循环播放效果*

色调映射颜色分级LUT(深褐色和淡红色)

4. 实现细节

如果你对所需的引擎改动好奇,这里是High Level的概述。

4.1 Subpass Hint

UE4使用subpass hint告知RHI启用了哪个子通道。正向渲染器通常启用ESubpassHint::DepthReadSubpass。我们添加了一个新的subpass hint ESubpassHint::MobileTonemapSubpass。尽管ESubpassHint是一个枚举,但它的设置不支持多个hints。我们将ESubpassHint改为位掩码,以允许同时运行两个子通道。

4.2 SubpassFetch

SubpassFetch用于从上一个子通道的tile memory中检索颜色数据。尽管UE4中已经存在这个功能,但它不支持MSAA。我们通过添加SubpassFetchMS来扩展这一点。SubpassFetch和SubpassFetchMS都是利用subpassInput和subpassInputMS uniforms types的内在函数。接下来,我们设置一个预处理器指令,以便像素着色器知道需要多少采样。在着色器中,我们平均采样的场景颜色值,执行自己的resolve。这导致了下一个问题。

4.3 Handling Num Samples

通常,resolve阶段会处理MSAA。由于我们在着色器内部进行resolve,所以需要渲染通道从2个或4个采样开始,然后在色调映射子通道的输出切换到1个采样。这方面的处理是检查色调映射子通道是否已启用,并在Vulkan管道中将光栅化采样设置为1。这允许我们的子通道接收2或4个采样,并仅输出1个。

4.4 Resolve Texture for nonMSAA

不使用MSAA时,没有要输出到的resolve纹理。我们的子通道不能将场景颜色纹理同时用作输入附件和颜色附件,所以我们修改了逻辑,以便在启用色调映射子通道时为非SAA创建resolve纹理。颜色纹理和resolve纹理的ERenderTargetActions分别为Clear_DontStore和Clear_Store。只有resolve纹理写入RAM。我们在RHIEndRenderPass中禁用了对RHICopyToResolveTarget的调用,因为这将覆盖子通道刚刚输出到的帧缓冲区。通过使用非MSAA的resolve纹理,我们避免了创建第二个颜色纹理附件,并保持代码path与MSAA path几乎相同。

4.5 PostProcessTonemapSubpass Pixel Shader

我们在PostProcessTonemap.usf中基于MainPS_Mobile创建了一个新的像素着色器。这提供了Post Process Volume中的参数,允许我们从编辑器GUI控制效果。除子Passfetch和resolve逻辑(平均采样数)外,大多数逻辑都是从MainPS_Mobile复制。

4.6 Color Grading LUT

着色器中的另一大区别是颜色LUT逻辑。移动色调映射着色器中不予支持,所以我们从非移动版本复制。在色调映射着色器可以使用LUT纹理之前,它将通过组合LUT着色器运行。这作为一个额外的渲染通道添加,但比我们的完整显示器小得多(1024×32),并且对性能的影响最小。从组合LUT通道输出的颜色分级纹理随后传递到色调映射子通道。请注意,左侧和右侧显示的LUT纹理相同,所以每帧只能渲染一次。

4.7 Beware of Invalid Subpasses

必须非常小心处理子通道依赖项、颜色actions和输入附件。如果设置不正确,图像可能会正确渲染,但会作为附加渲染通道而非子通道运行。这将失去所有性能优势。始终验证颜色数据仅存储一次。你可以通过在adb shell中运行“ovrgupprofiler-t”进行检查,并确保一个Render后面是一个StoreColor。

雷米·帕兰德里(Rémi Palandri)在这篇贴文中提供了更多的细节。

5. 剖析数据

现在让我们看看额外的子通道是如何影响性能的。下表显示了VRAPI logcat输出的GPU定时数据。

2x MSAA FFR3是我们的子通道的最佳选择,它使帧持续时间增加不到1毫秒。GPU能够在不暂停的情况下执行2次并行纹理抓取,但不能执行4次。所以,切换到4x MSAA时效率降低。

从数据中可以看出,使用Vulkan子通道提供了一个在Quest中应用色调映射的性能优化选项。有了色调映射,你可以改变游戏的整体画面效果。我们希望这个Graphics Showcase能够鼓励你在下一款游戏中添加色调映射。

本文链接https://news.nweon.com/88566
转载须知:转载摘编需注明来源映维网并保留本文链接
入行必读:AR/VR——计算机历史第二次大浪潮

更多阅读推荐......

资讯