高通用OpenGL插件进行运动估计,实现更高性能VR体验

查看引用/信息源请点击:映维网

EPE得分为0.91

映维网 2021年03月22日)XR要求高帧速率、高分辨率和低延迟,而且是以非常低的功耗和热预算实现。用来对抗负载增加的一项基本技术是运动估计,即计算对象在图像帧间的运动。

与骁龙865移动平台一样,Qualcomm Adreno 6xx GPU增加了一个加速纹理单元,从而能够高效地、高性能地进行硬件加速的像素块匹配。为了帮助开发者在搭载骁龙平台的虚拟现实、游戏和其他应用中利用这一点,高通的虚拟现实团队创建了一个名为QCOM_motion_estimation的OpenGL扩展。

运动估计(又称光流估计)主要分析图像帧间的感知运动,并将其捕获为运动矢量。运动矢量通常是以特定的粒度提供,例如,每8×8像素块提供一个运动矢量。

对于虚拟现实,运动矢量与异步空间扭曲(ASW)或运动平滑等技术一起应用,从而创建外推帧。外推帧在渲染内容的位置显示,这可允许应用程序以较低的帧速率渲染。

除了异步空间扭曲之外,运动估计的其他常见用例同时包括视频压缩、立体深度、运动结构、图像对齐、运动模糊和对象追踪。

下图是根据两帧视频为像素块计算的运动矢量可视化:

1. 扩展综述

QCOM_motion_estimation扩展向OpenGL添加了两个API函数。所述函数接收表示要计算运动的两个图像帧的参考图像和目标图像(纹理)。然后填充包含相应运动矢量的输出纹理。所述函数具有以下签名:

团队将函数设计成具有灵活的输出格式。运动矢量会写入一个filterable GL图像格式(GLRGBA16F),后者会对其进行优化,以便在其他OpenGL函数中进一步使用,并有助于避免转换为其他格式。输出纹理中每个像素的R和G通道分别包含X和Y magnitude,而B和A通道保留以供将来使用。目前使用16位浮点提供子像素细化。

TexEstimateMotionRegionsQCOM()通过引入额外的模板mask参数来扩展TexEstimateMotionQCOM()。这是定义要计算运动矢量的感兴趣区域的纹理。模板mask可用于减少每帧的工作量。例如,如果不想分析整个场景时,比方说上一帧中某些对象的位置已知时,这可能非常有用。模板mask同时可用于注视点渲染,从而优化工作负载。

运动估计通常在单通道亮度纹理执行,如本扩展所示。应用程序可以使用EXT_YUV_target扩展中的rgb_2_yuv()着色器函数转换参考纹理和目标纹理。

当函数生成运动矢量纹理后,开发者可以将其用于特定的用例,如异步空间扭曲和压缩等。开发者同时可以渲染矢量(如作为叠加)以帮助可视化运动,甚至可以使用纹理进行3D操作,如网格扰动。

2. 性能和精度

结合Adreno 6xx提供的底层像素块匹配硬件加速,扩展针对具有最大GPU性能和低延迟的真实运动估计(TME)进行了优化。它可以与其他GPU工作负载保持一致,不需要额外的开销,而且CPU命令可以隐藏在正在进行的GPU工作后面,同时运动估计过程可以及时执行。对于典型的VR帧分辨率,通常可以在不到1ms的时间内为双眼生成运动矢量,从而允许按需创建矢量。像素块匹配硬件同时以分层方式运行,从而提高速度和更大的搜索范围。

评价运动估计系统的精度通常是通过计算平均端点误差(average-EPE)来实现。平均EPE将每个估计的运动矢量(Vest)与ground truth运动矢量(Vgt)进行比较,以确定其欧氏距离:||Vest – Vgt||。在确定每个运动矢量的端到端点误差之后,计算平均误差(即,平均EPE)以确定最终精度水平。

所述计算需要预先存在的ground truth运动矢量,通常是基于具有描述真实已知运动的注释的帧,例如Middlebury Optical Flow Dataset。利用Adreno 6xx的QCOM_motion_estimation扩展,以及两帧Middlebury数据集的ground truth值,EPE得分为0.91。这个数据集的运行时间低于每帧0.5ms。

3. 总结

运动估计包含了计算对象在数据帧之间的感知运动的强大技术。利用相关信息,从压缩视频到平滑虚拟现实中的抖动,开发者可以解决各种各样的问题。

本文链接https://news.nweon.com/84031
转载须知:转载摘编需注明来源映维网并保留本文链接
入行必读:腾讯可以向Facebook学习什么

更多阅读推荐......

资讯