迪肯大学提出S3PO模型实现360度视频超分辨率增强
探索采用基于深度学习的视频超分辨率（VSR）技术增强360度视频
（映维网Nweon 2025年11月06日）全方位视频或360度视频在虚拟现实领域主要用于实现沉浸式交互浏览体验。然而，360度视频有限的空间分辨率导致每度视角无法获得足够的像素表征，从而限制了沉浸式体验的视觉品质。尽管传统视频采用的深度学习视频超分辨率（VSR）技术可提供基于软件的解决方案，但相关技术未能解决360度视频信号在等距柱状投影中存在的畸变问题。另一个障碍是可用于研究的360度视频数据集稀缺。
针对这个问题，澳大利亚迪肯大学团队创建了新型360度视频数据集（360° Video Super-Resolution），并研究了传统VSR模型在360度视频的扩展性。研究人员进一步提出了名为Spherical Signal Super-resolution with a Proportioned Optimisation（S3PO）的新型深度学习模型。S3PO采用具有注意力机制的循环建模，摆脱了对齐等传统VSR技术的束缚。通过专门设计的特征提取器和解决球面畸变的新型损失函数，S3PO在360度视频数据集超越了最先进的传统VSR模型和360度专用超分辨率模型。
360度视频日益普及，正迅速成为虚拟现实多媒体内容的首选格式。这种技术提供360度水平视场角和180度垂直视场角。通过允许用户在虚拟环境中进行最高六自由度的交互，360度视频主要为其观众创造沉浸式体验。相关视频通过多传感器单相机或多台单传感器相机制作，各传感器采集的画面经拼接形成完整全景视图。随后通过映射偏航角和俯仰角，将球面信号投影至矩形平面形成等距柱状投影（ERP）。
......（全文 1709 字，剩余 1183 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
