研究员为AR/VR提出OAR语义视频传输方法，提高低带宽编码效率
实现更有效的视频传输
（映维网Nweon 2025年01月21日）随着多媒体数据量的快速增长，虚拟现实等应用对高效视频传输的需求越来越大。语义通信正在成为确保在低带宽、高噪点环境下高效、可靠传输的重要技术。然而，目前大多数方法都集中在依赖于端到端训练的JSCC，而它们通常缺乏可解释的语义表示，难以适应各种下游任务。
在一项研究中，清华大学，浙江大学和阿联酋哈里发大学的研究人员介绍了使用对象-属性-关系（OAR）作为视频的语义框架，以促进低比特率编码和增强JSCC过程，从而实现更有效的视频传输。
团队利用OAR序列进行低比特率表示和生成视频重建，并将OAR合并到图像JSCC模型中，以优先考虑对下游任务更重要的区域的通信资源。证结果表明，基于OAR的视频编码方法不仅在较低比特率下优于H.265编码，而且可以与JSCC协同实现鲁棒高效的视频传输。
随着AR/VR等技术的兴起，对低比特率视频压缩和高效传输的需求变得越来越迫切。传统方法通常使用单独的源信道编码策略来确保像素和符号的准确性。然而，随着标准视频编码的收益递减，低比特率下的视频质量无法满足用户感知和特定任务的要求。
另外，源和信道编码的明显分离可能危及视频的可靠传输，特别是低信噪比（SNRs）的信道，导致解码失败的实例增加。
语义通信正在成为能够超越香农极限的关键框架。通过关注数据表征和传输的语义水平，它超越了传统的比特和符号约束，增强了特定于任务的通信性能。在深度学习技术的支持下，语义通信在理论和实践方面都取得了显著的进步，在各种应用中都优于传统的通信方法。
语义信息提取和联合信源信道编码（JSCC）是语义通信系统高效传输的关键。通过实现有效的语义表示，系统可以优先考虑关键的语义信息（例如通过分配更多的比特或传输符号）以提高传输效率。
在使用语义表示的图像编码方面的进展已经显示出有希望的结果。另外，利用深度学习，深度JSCC方法已经开发出来，并且在传输性能方面优于传统的独立编码框架。
值得注意的是，对于音频和视频等结构化多媒体，JSCC方法即便在低信噪比（SNRs）下抖能实现高效传输，显著减少了解码失败造成的时间和带宽成本。
然而，目前大多数方法都集中在依赖于端到端训练的JSCC，而它们通常缺乏可解释的语义表示，难以适应各种下游任务。
所以，有必要进一步探索具有明确语义表示和提取的可靠视频传输。为了解决相关问题，清华大学，浙江大学和阿联酋哈里发大学的研究人员提出了一种利用语义信息的对象属性关系（object-attribute-relation， OAR）表示模型的新型视频传输系统。
具体而言，对象属性关系（object-attribute-relation， OAR）模型根据下游应用需求，通过捕获视频帧的关键对象及其属性和关系来表征场景语义。
与以往研究中广泛使用的对象边缘和语义分割图相比，OAR捕获了更结构化的语义关联，并将其用连通图表示。与场景图表示相比，OAR更注重属性的丰富，可以更好地重建视频。
另外，利用与OAR数据相关的下游任务紧凑优点，研究人员实现了视频传输的JSCC管道。具体来说，他们实现了关键帧的OAR辅助JSCC，允许模型能够更加关注场景中的关键对象。实验结果表明，系统在低带宽、低信噪比条件下依然保持较好的前景重建质量。
相关论文：Object-Attribute-Relation Representation based Video Semantic Communication
总的来说，研究人员为了解决下游任务中高效可靠的视频传输问题而提出了一种OAR辅助的视频编码与传输方法。首先，他们提出了一种基于对象-属性-关系（object- property -relation， OAR）的视频表示和编码系统，并实现了视频的低比特率表示。
然后，他们提出了一种基于参考帧和OAR序列的生成式视频重构方法，实现了感知质量和面向下游任务的视频重构。最后，OAR辅助JSCC与基于OAR的视频编码相结合，实现了噪点信道下的视频传输。
实验证明了方法的有效性。首先，基于OAR的视频编码在感知质量和下游目标检测性能方面优于H.265，并且节省了高达61%的比特率。
其次，基于OAR的视频传输系统能够适应低带宽和低信噪比条件，有效地保证了感知质量和下游任务性能。在CBR为1/300的情况下，与DVST相比，方法实现了平均LPIPS损失降低0.037，mAP提高0.16。
