研究分析：360°视频的投影格式与压缩性能
调整立方体映射投影（ACP）和赤道圆柱投影（ECP）表现最好，节省了55%以上的速率
（映维网Nweon 2024年08月28日）随着VR技术的发展，高效的360度视频压缩变得越来越重要。所以，最先进的H.266/VVC视频编码标准已经集成了用于360度视频的专用工具，并且业内在设计具有改进压缩效率的360度投影格式方面投入了相当大的努力。
对于快速发展的神经视频压缩网络（NVC）领域，不同的360度投影格式对整体压缩性能的影响尚未得到研究。所以，从传统的等矩形投影（ERP）到其他投影格式的重新采样是否对NVC产生与混合视频编解码器相似的增益，以及哪种格式表现最好，目前都没有带到充分的研究。
针对这个问题，德国埃尔朗根-纽伦堡大学的团队分析了数代NVC和一组广泛的360度投影格式，以及它们对360度视频的压缩性能。根据分析，投影格式重采样显著改善了NVC的压缩性能。
与基于WS-PSNR的ERP相比，调整立方体映射投影（ACP）和赤道圆柱投影（ECP）表现最好，节省了55%以上的速率。值得注意的是，观察到的速率节省比H.266/VVC更高，强调了投影格式重采样对NVC的重要性。
视频压缩任务是当今多媒体通信领域的一个关键因素。其中最突出的视频压缩标准是混合视频编解码器，如流行的H.264/AVC，后续的H.265/HEVC，以及最先进的H.266/VVC。
随着增强现实和虚拟现实系统的日益普及，有效的视频压缩进一步增加。为了使用现有的高效视频压缩标准，在编码之前需要将360度视频映射到二维图像平面，这导致了不可避免的失真。在提高360度视频压缩性能方面的特别努力包括改进投影格式的设计和360度特定编码工具的开发。
近年来，神经视频压缩网络（Neural Video Compression Networks/NVC）已经取得了重大进展，其性能已经接近于经过数十年发展的H.266/VVC等最先进的视频压缩标准。快速的进步表明，基于神经网络的视频编码技术在未来将变得越来越重要。但迄今为止，对于不同投影格式的360度视频，NVC是如何表现的，以及是否需要360度视频的特定扩展，目前尚未得到充分的研究。
在研究中，德国埃尔朗根-纽伦堡大学团队希望通过分析NVC在360度视频中的压缩性能来回应相关问题。与对混合视频编解码器的调查类似，研究人员对一组广泛的360度投影格式进行了测试，并比较了它们的压缩性能。
图1显示了NVC测试框架的概述。除了表明投影格式重采样对于NVC比H.266/VVC更加重要之外，研究同时表明，基于测试多代NVC的趋势，它的重要性在未来的NVC中可能会进一步增加。
对于评估，他们使用了JVET 360度测试序列。所述数据集由10个未压缩的ERP格式序列组成，在yuv色彩空间中使用4:2:0色度子采样。分辨率范围从6K到8K，帧率为30到60 fps，位深为8和10位。研究人员对每个序列的32帧进行测试。
对于传统的混合视频编解码器，将ERP格式的360度视频重新采样到不同的投影格式进行编码可以显著提高压缩性能。对于NVC，目前尚没有研究投影格式重采样是否同样能够产生速率节省，潜在的速率节省有多大，以及与混合视频编解码器的行为相比，不同的投影函数的行为如何。
在研究中，团队发现投影格式重采样在压缩性能方面有显著提高。在初步调查中，他们主要关注DCVC-DC作为最新的NVC。基于WS-PSNR的平均速率节省超过55%，基于PSNR的平均速率节省超过40%，EAC、HEC、ACP、GCP和ECP投影格式表现最好。
总体而言，ACP和ECP基于WS-PSNR产生最高的速率节省，但ACP明显优于基于PSNR的ECP。RSP紧随其后，基于WSPSNR的速率节省约为50%，基于PSNR的速率节省约为36%。AEP、CMP和ISP格式无法竞争。
值得注意的是，对大多数NVC应用重投影所节省的速率高于VTM-22.2。例如，ACP实现了56%以上的速率节约，而在VTM-22.2上实现了不到40%的速率节约。这显示了投影格式重采样在NVC环境中的重要性。
通过对不同时代的非编码格式的研究，团队发现由于非编码格式对透视内容的持续专业化，ERP与其他格式之间的压缩性能差距正在稳步扩大。
相关论文：Analysis of Neural Video Compression Networks for 360-Degree Video Coding
另外，类似于H.266/VVC包含360度视频的特定扩展，研究NVC中的特定扩展可能是进一步提高压缩性能的有希望的方法。
