骁龙Spaces XR开发分享:实现更好的注视点渲染图像质量和帧率性能

查看引用/信息源请点击:映维网Nweon

实现更好的注视点渲染视觉质量,并同时保持帧率性能

映维网Nweon 2022年09月07日)注视点渲染可以减少XR设备的渲染工作量。为了进一步减少带宽、提高性能和降低功耗,高通一直在积极地进行研究探索,成果包括Vulkan和OpenGL的扩展。

日前,主要负责注视点渲染和Vulkan的XR图形团队成员乔纳森·坦安姆(Jonathan Tinkham)撰文介绍新开发的Fragment Density Map Offset Extension for Vulkann。据介绍,这个扩展可以为你提供更多的控制,从而帮助你实现更好的注视点渲染视觉质量,并同时保持帧率性能:

1. 优化渲染

要了解这个新扩展,我们首先回顾一下移动设备渲染通常是如何优化的。一款典型的手游是在臂展长度之内开玩,速度约为60 FPS,每帧渲染时间仅为16ms。尽管这种媒介可以接受一定的帧率下降,但玩家渴望尽可能好的整体帧率。

满足所述要求的一种技术是Tile-Based Rendering,例如高通Adreno GPU使用的技术。它将一帧分为多个Tile区块,每个Tile区块依次渲染到GPU的高速内存中,然后传输到系统内存进行采样和最终显示。这个过程的一个关键组成是binning,其中要渲染的几何体映射到Tile,以便每个Tile渲染适当的像素。

在XR中,附加参数会增加帧率下降的可能性。对于XR设备,视口靠近用户,立体渲染涉及每只眼睛一帧,通常为90 FPS。这使得从两个角度渲染场景两次的时间为11ms。另外,为了帮助防止晕动症,你必须避免帧率下降。显然,XR需要自己的一套技术来最大化渲染性能。

一种常见的方法是注视点渲染。注视点通常需要眼动追踪。这项功能非常有利于对抗由于透镜特性而在周边出现的过度渲染。Adreno注视点渲染提供了对每个Tile着色像素数的控制,并可以将着色集中在最重要的区域。这可以在图形管道的片段端实现大量的节省。

这个功能在Vulkan和OpenGL中分别通过VK_EXT_fragment_density_map (FDM) QCOM_texture_foveated_subsampled_layout扩展提供。

2. 提供更精细的控制

这对静态注视点Map的效果非常好,因为map只需编写一次并重复使用。但是,如果需要经常更新Map,则可能需要额外的CPU时间来生成Map,并且Map与Tile网格的对齐可能会导致来回出现不同的质量级别。

为了解决这个问题,团队为Vulkan发布了VK_QCOM_fragment_density_map_offset扩展。这个扩展允许你按细粒度量更新注视点渲染而无需更新底层FDM attachment。换言之,它会更改应用密度值的帧缓冲区位置,而无需重新生成FDM。这将有效地将内容移动到Tile网格后面,从而对注视点渲染进行调整,并为眼动追踪等应用提供快速平滑的过渡,以更新注视点区域的位置。

下图说明了新扩展如何实现对注视点Map的平滑控制:

3. 扩展的使用

VK_QCOM_fragment_density_map_offset需要前述的VK_EXT_fragment_density_map扩展,以及Vulkan 1.2或VK_KHR_create_renderpass2扩展来访问 VkEndSubpassInfo struct。

offset在渲染通道的最后一个子通道中指定,它将尽可能晚地更新offset 量以减少延迟。这是通过用所需offset填充VkSubpassFragmentDensityMapOffsetEndInfoQCOM structure并通过VkSubpassEndInfo struct将其传递给 vkCmdEndRenderPass2来实现。所述struct采用VkOffset2D值数组,其中每个值描述FDM在X和Y方向的所需offset。必须为渲染通道中使用的FDM的每一层实例化VkOffset2D。每个offset都应用于相应的层。以下代码显示了如何设置这一选项:

VkOffset2D offsets[2] = {};
offsets[0].x = //…
VkSubpassFragmentDensityMapOffsetEndInfoQCOM offsetInfo =
{
 VK_STRUCTURE_TYPE_SUBPASS_FRAGMENT_DENSITY_MAP_OFFSET_END_INFO_QCOM,
 2, // fragmentDensityOffsetCount; 1 for each layer/multiview view
 offsets, // offsets are aligned to fragmentDensityOffsetGranularity
};
VkSubpassEndInfo subpassEndinfo = {};
subpassEndInfo.pNext = &offsetInfo;
// Only offets given to the last subpass are used for the whole renderpass
// Offsets given in other subpasses are ignored
vkCmdEndRenderPass2(VkCommandBuffer commandBuffer, &subpassEndInfo);

注意:offset有对齐限制。对于当前的Adreno GPU,尤其是骁龙865,屏幕/帧缓冲区空间中的像素数为8 x 8。你必须在运行时以编程方式获取这个限制,通过使用vkGetPhysicalDeviceProperties2()查询物理设备属性以填充VkPhysicalDeviceFragmentDensityMapOffsetPropertiesQCOM struct。VkExtent2D字段将分别在X和Y方向填充支持的粒度,offset量必须与所述限制对齐。以下代码显示了如何在运行时获取相关信息:

VkPhysicalDeviceFragmentDensityMapOffsetPropertiesQCOM offsetProperties = {}
VkPhysicalDeviceProperties2 properties = {};
Properties.pNext = &offsetProperties;
vkGetPhysicalDeviceProperties2(pDevice, &properties);
offsets[0].x = align(offsets[0].x, offsetsProperties. fragmentDensityOffsetGranularity.width);

最后,帧缓冲区中使用的所有图像必须使用VK_IMAGE_CREATE_FRAGMENT_DENSITY_MAP_OFFSET_BIT_QCOM flag创建。这在所有图像attachment都是必需项,包括FDM attachment、深度缓冲区、颜色attachment和解析attachment。

4. 提示

FDM的sizing不会随此扩展而改变,FDM的size必须适合帧缓冲区范围。变换FDM需要为帧缓冲区中不再覆盖的部分填充Tile值。然而,其他策略可能合适,例如将单个Tile边缘值设为0以利用Adreno注视点的Tile排除行为。这将用0填充缺失的部分,从而导致GPU跳过这些部分的渲染。

当焦点移动时,上述方法是提高注视点渲染视觉性能的好方法。这在眼动追踪等情况下尤其如此,注视点的快速移动需要快速改变边缘区域的质量水平,从而确保边缘细节的平滑移动。

————

伴随骁龙Spaces XR开发者平台正式面向全球开发者开放,为了更好地服务中国AR/VR开发者生态,并为骁龙Spaces XR平台寻找优秀的潜在合作伙伴。“2022 Qualcomm XR创新应用挑战赛(参赛点击前往)”发起了“骁龙Spaces XR平台开发者问卷调查(点击前往)”。

参与问卷调查的优秀开发者(点击参与)更有机会获得高通创投的骁龙元宇宙基金支持,以及与高通公司在骁龙Spaces XR生态平台上达成深度合作,赋能并支持整个生态系统的创新。另外,参与问卷调查的合格提交者均有机会获得高通官方提供的“骁龙Spaces XR”专属T恤等礼品。

本文链接https://news.nweon.com/100503
转载须知:转载摘编需注明来源映维网并保留本文链接
入行必读AR/VR——计算机历史第二次大浪潮
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供

更多阅读推荐......

资讯