Facebook推出360度视频传输质量评估标准：SSIM360和360QVM

文章相关引用及参考：facebook

本文来自Facebook

（映维网 2018年03月13日）Facebook一直致力于推动360度技术的发展，他们已经开拓了一系列的新概念，如偏移立方体贴图（offset cubemaps），动态流式传输（dynamic streaming）和基于内容的流式传输（content-dependent streaming）。对于每一项新技术，重要的是与原先方法比较沉浸式体验的质量，比如分辨率，位速度，或者结构相似性。一项可靠的质量评估工作流程能够为比较360度浏览会话提供一致的标准，并且帮助我们衡量是否应该在生态系统中采用新的360度技术。

遗憾的是，业内尚未出现普遍认可的360度内容QA标准，而针对传统非360度媒介的现有QA工作流程无法捕捉360度视频的相关属性：沉浸感和观影控制。360度视频的每一帧都压缩了一个全方向的球形场景，而这在编码水平上需要将其翘曲成矩形帧。这种翘曲操作影响了传统的逐帧图像QA，并且令结果变得相当不可靠。另外，用户在360度视频播放期间可以控制任意时刻的观影方向，这意味着最终的视图质量取决于用户视场的帧区域，而非整体的球形帧。

Facebook为需要应对翘曲和视场问题的360度视频传输开发了一种新QA工作流程，并向我们介绍了两种新标准：SSIM360和360QVM。这两个标准在单个编码和播放组件的质量上，以及传输会话的整体质量上分别提供了量化的指标。Facebook指出，随着新功能的推出，这可以支持他们理解360度管道中每一个组件的性能表现，并且追踪编码效率和播放质量上的增益。下面，映维网将向大家介绍Facebook的QA工作流程，并希望这可以促进更广泛的360度内容开发者社区量化和分享他们的开发，从而创建更具沉浸感的体验。

1. 编码质量评估

1.1 对传统非360度SSIM的简单介绍

结构相似性指标（Structural Similarity Index，SSIM）是广泛用于评估图像和视频编码的QA指标。全参考QA采用两幅输入图像：参考图像（如原始内容）和变化图像（如编码内容），并且输出0和1之间的分数。分数代表两幅图像的结构相似性：1分表示图像相同，因此质量保存良好;；0意味着两者完全不同，这意味着严重的结构变形。当SSIM用于视频QA时，评估是逐帧完成的，而且仅在两个输入视频的长度和帧速率完全相同时才起作用。

跟大部分的图像处理算法类似，SSIM不会一次性测量整幅图像。相反，它从两个输入图像中采样较小的区域（类似于图像压缩中的宏块）并比较样本。在最初的论文中，作者提出了一个用于这一采样的11x11高斯内核，而ffmpeg的vf_ssim滤波器使用了一个统一的8x8方块（如上图所示）。我们从每个样本中获取一个SSIM值。为了获取每幅图像的SSIM，我们计算每个样本的SSIM平均数。为了获取整个视频的SSIM，我们进一步平均计算所有帧的每图像SSIM。

1.2 翘曲问题

SSIM中的采样区域是静态的（即相同的大小，相同的形状），并且在最终的平均计算中具有相同的权重。例如在上面的ffmpeg实现中，不管位置如何，图像中每一个8x8区域对最终的SSIM分数都具有同样的影响力。但360度媒介并非如此。

请比较上面的两张世界地图。左边地图的编码器会降低画面下部的质量（南极洲）；而右边地图只是左边编码地图的重定向版本。当渲染至3D球体时，这两张地图应该看起来完全一样（除了方向），所以它们从360度内容QA中得到的分数也应该是相同。但是，如果我们使用SSIM作为我们的QA标准，则左边地图分数会较低。原因是由于等量矩形中靠近垂直中心的翘曲较少，所以右边地图“糟糕质量”部分（南极洲）所占的比例较小。在SSIM的8×8取样方块中（在两个地图上呈现为红色放宽），左边地图中南极洲占据的区域被采样23次，而右边地图只有12次，所以这导致了不同的平均SSIM分数。这表明非360度SSIM过程并不可靠，因为相同的360度内容却输出了不同的值。

1.3 快照

一种防止翘曲影响的方法是，直接对360度球体中的渲染视图进行取样，而非采用等量矩形的渲染视图。我们从360度球体中的所有可能视角方向获取无限数量的方形快照。这种样本是平坦图像，同时进行了加权平均，所以翘曲问题将不复存在，而且SSIM将是一个有效的QA。

为了防止翘曲，在馈送至非360 SSIM之前先获取平面图像的快照（V1，…，Vn）。 最终的“Snapshot SSIM”分数将通过汇总所有的每快照SSIM分数进行计算。

虽然可靠，但这种方法的计算复杂性使其成为不可行的360度图像QA解决方案。使用我们的Transform360库来从给定视图中获取单个快照并不是一件简单的事情，更不用说获取无限数量的快照并且逐个运行SSIM。但是，我们可以使用汇总的快照分数作为验证我们新SSIM360标准的基础事实。

1.4 SSIM360

另一种解决翘曲问题的方法是，在计算平均值时为每样本SSIM得分加权。加权取决于采样区域在影像中的拉伸程度：拉伸越多，加权越小。这可以通过“样本覆盖的渲染球体比例”和“样本覆盖的帧比例”的比例进行计算。每个样本对最终分数的贡献不同，所以能有效地消除翘曲影响。原始SSIM的加权平均版本称为SSIM360。

为了验证SSIM360的结果，我们将其与Snapshot SSIM进行比较。我们针对不同的纹理和动态特征的360视频，以及不同的编解码器，缩放和质量保存目标进行了验证实验。然后通过1）SSIM，2）SSIM360和3）Snapshot SSIM评估这些降级测试用例。

上图中是SSIM360和SSIM的累积分布函数（CDF），而我们可以看到SSIM360几乎能在所有的百分比中把错误减少约50％。错误定义为Snapshot SSIM分数与每个QA（SSIM360，SSIM）输出分数之间的绝对差异。从计算角度而言，由于SSIM360只是通过可预先计算的权重图来替换每样本SSIM聚合中的统一加权，因此SSIM360与传统SSIM一样有效。

2. 播放质量评估

2.1 视场问题

SSIM360是在不确定用户注视点的情况下评估编码级别的质量。但在播放质量评估中，我们必须考虑到视图方向。在任何特定时间下，只有大约15％的360度场景会保留在用户视场中。这意味着通过SSIM360计算的整体球形帧质量将不再具有代表性。当我们在内容交付框架中采用基于视图的优化时，情况尤其如此。基于视图的优化技术（如偏移投影，基于显着性的编码，以及基于内容的流式传输）基本上将位分配（相当于大多数情况下的像素分配）偏向视频中感知更重要的区域。它们并没有提高整个画面的质量，而是优化用户最有可能注视的区域。

右图显示了偏移投影的像素密度图（假设中心的感知重要性更高）。与左边投影相比（没有基于视图的优化），聚焦区域（红色圆圈）内的质量要高得多。SSIM360无法捕捉到这种优化，因为它侧重于整个画面，而且在这个例子中两边的整体像素数量实际上是完全一样。

2.2 从视图到像素密度，从像素密度到质量缩放

我们通过两个映射解决了视场问题：一个是从视图方向到像素密度，另一个则是从像素密度到应用于SSIM360得分的比例系数。第一个映射考虑了编码中使用的投影，以及播放期间的视图方向和视场，并且询问每个时间点内有多少像素停留在视场之中。换句话说，红圈中有多少像素？通过已知的像素密度图，我们可以通过封闭型几何公式来有效地计算答案。

第二个映射通过引入反映像素密度变化的比例系数来调整SSIM360的质量分数。在非360度QA中，我们会使用类似的技术来评估缩小尺寸所导致的质量下降（即将图像“缩小”到更小的宽度/高度）。由于SSIM假定参考图像和变化图像具有相同的尺寸，因此缩小后的图像必须放大至原始尺寸，并重新采样以评估质量下降情况。我们不可以忽略这所需要的计算工作，特别是我们要评估转码过程。转码过程会产生数十种具有不同维度的编码格式，而所有这些都需要在单独的QA过程中重新采样，如下所示。

要避免这种计算开销，我们可以将转码过程的QA解耦为两个步骤：压缩的QA；调整大小的QA。如下所示，SSIM在压缩版本上执行，同时不调整大小。然后通过将惩罚因子应用于压缩版本来近似计算每个调整大小的格式的单独质量分数。调整大小的比例是决定惩罚因子的一个因素：调整大小的版本越小，损失的结构细节越多，所以惩罚因子越高。通过确定惩罚因子来取代重新取样更为有效，并且能够减少我们运行SSIM的次数。

在360度视频中，分辨率的变化不是来自调整大小，而是来自视场内像素密度的变化。随着用户注视点朝更高/更低像素密度的区域移动，观看内容（即视场内的内容）的分辨率将将随之增加/减少。比例系数与惩罚因子不同，因为它可以减少或增加SSIM360得分。

对于基于视图的投影，视场内的分辨率会发生变化，就好像视频分辨率通过“视场内的像素密度”与“整个帧的像素密度”之间的比率进行升级或降级一样。

2.3 360VQM

通过将以上技巧应用到我们定制的QA工作流程中，我们解决了360度视频会话QA中的翘曲和视场问题。SSIM360取代SSIM来处理编码中的扭曲，而惩罚因子则由比例因子所取代（因视图改变引起的像素密度变而衍生出来）。这一QA工作流程的结果称为360VQM：360度视频质量指标。它可以准确高效地捕捉编码过程中的质量变化，并在播放过程中将分辨率变化的影响体现在最终分数上。

3. 总结

随着360度媒体的不断发展，关于如何处理和呈现沉浸式内容的标准化QA工作流程变得更加重要。SSIM360和360VQM是Facebook开发的两项新QA标准，其可以帮助我们验证360度视频管道在编码和传输上的性能。这两个标准都已完全纳入Facebook的生态系统，并且提供了可靠的量化指标以帮助改进Facebook上的沉浸式体验。Facebook表示，他们很高兴与大家分享这一进展，并希望他们的努力将有助于形成广泛普及的沉浸式内容QA标准。

相关论文：Image Quality Assessment: From Error Visibility to Structural Similarity