高通提出用于立体视频串流LLSS的低延迟神经编解码器
实现快速高效的低延迟立体视频串流
（映维网Nweon 2024年10月17日）虚拟现实等新视频模式的兴起增加了对高效多视点视频压缩方法的需求，包括率失真（R-D）性能方面，以及延迟和运行时间方面。尽管新近提出的立体声视频压缩方法显示出相当出色的性能，但它们顺序压缩左视图和右视图，导致并行化和运行时性能差。
针对这个问题，高通提出了用于立体视频串流LLSS的低延迟神经编解码器。这是一种全新的并行立体视频编码方法，旨在实现快速高效的低延迟立体视频串流。
与现有方法采用序列交叉视角运动补偿不同，LLSS引入双向特征移位模块，直接利用视图之间的相互信息，并通过联合交叉视角先验模型进行熵编码，从而有效地对视图进行编码。由于这种设计，LLSS并行处理左视图和右视图，最大限度地减少了延迟。另外与现有的神经和传统编解码器相比，它大大提高了性能。
虚拟现实等新视频模式的兴起增加了立体视频数据的显著增加。在VR中，为了实现身临其境的用户体验，对分辨率和延迟的要求非常高。所以，编解码器在保持低延迟的同时有效地编码立体视频至关重要。
立体视频编码的基本方法是将低延迟、单视图编解码器独立应用于每个视图。尽管这种传统的编解码器产生了有希望的结果，并已用于商业产品，如Meta Quest，但它们将速率提高了一倍，并且忽略了两种视图之间的相似性。所以，业界提出了数种标准编解码器，通过视差补偿来减少两个视图之间的冗余。
它们通常首先使用单视图编解码器对正确的视图框架进行编码。然后从编码后的右视图框预测左视图框。然而，这种顺序处理限制了同时处理多个视图的能力。
......（全文 1253 字，剩余 648 字）
