Facebook推出360度视频传输质量评估标准：SSIM360和360QVM

文章相关引用及参考：facebook

本文来自Facebook

（映维网 2018年03月13日）Facebook一直致力于推动360度技术的发展，他们已经开拓了一系列的新概念，如偏移立方体贴图（offset cubemaps），动态流式传输（dynamic streaming）和基于内容的流式传输（content-dependent streaming）。对于每一项新技术，重要的是与原先方法比较沉浸式体验的质量，比如分辨率，位速度，或者结构相似性。一项可靠的质量评估工作流程能够为比较360度浏览会话提供一致的标准，并且帮助我们衡量是否应该在生态系统中采用新的360度技术。

遗憾的是，业内尚未出现普遍认可的360度内容QA标准，而针对传统非360度媒介的现有QA工作流程无法捕捉360度视频的相关属性：沉浸感和观影控制。360度视频的每一帧都压缩了一个全方向的球形场景，而这在编码水平上需要将其翘曲成矩形帧。这种翘曲操作影响了传统的逐帧图像QA，并且令结果变得相当不可靠。另外，用户在360度视频播放期间可以控制任意时刻的观影方向，这意味着最终的视图质量取决于用户视场的帧区域，而非整体的球形帧。

Facebook为需要应对翘曲和视场问题的360度视频传输开发了一种新QA工作流程，并向我们介绍了两种新标准：SSIM360和360QVM。这两个标准在单个编码和播放组件的质量上，以及传输会话的整体质量上分别提供了量化的指标。Facebook指出，随着新功能的推出，这可以支持他们理解360度管道中每一个组件的性能表现，并且追踪编码效率和播放质量上的增益。下面，映维网将向大家介绍Facebook的QA工作流程，并希望这可以促进更广泛的360度内容开发者社区量化和分享他们的开发，从而创建更具沉浸感的体验。

◐ 1. 编码质量评估

◐ 1.1 对传统非360度SSIM的简单介绍

结构相似性指标（Structural Similarity Index，SSIM）是广泛用于评估图像和视频编码的QA指标。全参考QA采用两幅输入图像：参考图像（如原始内容）和变化图像（如编码内容），并且输出0和1之间的分数。分数代表两幅图像的结构相似性：1分表示图像相同，因此质量保存良好;；0意味着两者完全不同，这意味着严重的结构变形。当SSIM用于视频QA时，评估是逐帧完成的，而且仅在两个输入视频的长度和帧速率完全相同时才起作用。

跟大部分的图像处理算法类似，SSIM不会一次性测量整幅图像。相反，它从两个输入图像中采样较小的区域（类似于图像压缩中的宏块）并比较样本。在最初的论文中，作者提出了一个用于这一采样的11x11高斯内核，而ffmpeg的vf_ssim滤波器使用了一个统一的8x8方块（如上图所示）。我们从每个样本中获取一个SSIM值。为了获取每幅图像的SSIM，我们计算每个样本的SSIM平均数。为了获取整个视频的SSIM，我们进一步平均计算所有帧的每图像SSIM。

◐ 1.2 翘曲问题

SSIM中的采样区域是静态的（即相同的大小，相同的形状），并且在最终的平均计算中具有相同的权重。例如在上面的ffmpeg实现中，不管位置如何，图像中每一个8x8区域对最终的SSIM分数都具有同样的影响力。但360度媒介并非如此。

......（全文 3177 字，剩余 2185 字）