新方法可从文本或图像生成4K立体360°视频，为沉浸式头显提供内容

编辑：广东客 | 分类：论文 | 2026年10月12日

从文本或图像生成4K立体360°视频

（映维网Nweon 2026年10月12日）沉浸式显示器能将观看者带入超越物理环境的场景，但为每一种体验制作沉浸式内容成本高昂、难以规模化。拍摄立体360°视频需要复杂的多相机装置和精密的拼接，手动创建虚拟环境则需艺术家逐场景建模。生成式视频模型有望绕过这一瓶颈，但现有模型主要面向传统显示器，无法直接生成沉浸式观看所需的高分辨率立体360°内容。

针对这一空白，来自北卡罗来纳大学教堂山分校和杜比实验室的研究人员提出了一种零样本生成流程，可将现有视频扩散模型扩展为4K立体360°视频。该研究以预印本形式发布。

新方法可从文本或图像生成4K立体360°视频，为沉浸式头显提供内容

研究人员指出，现有零样本方法如DissolveStereo和StereoCrafter依赖软条件引导，未显式强制左右眼视图之间的正确几何关系，在双目观看时误差尤为明显。同时，现有度量基于透视图像匹配，无法处理360°球面几何或等距柱状投影图像在两极附近的畸变。

为此，研究团队首先引入零样本立体适配流程，让现有视频模型在无需大规模训练数据的情况下生成文本或图像条件化的立体对。右视图通过球面深度变换从左视图生成，模型仅修复变换无法覆盖的遮挡区域。

为识别生成视频中的几何不一致，研究人员提出了全景对极几何评分（PEGS）。该评分直接在360°观看球面上测量立体一致性，无需位姿信息，并能排除运动物体，仅对静态场景评分。PEGS被用作偏好信号，通过直接偏好优化对生成器进行微调，从而减少零样本适配留下的几何伪影，且无需真实全景立体视频。

在生成阶段之后，研究还采用立体全景上采样生成4K输出，并通过基线调整控制生成视图之间的视差，以适应头显观看。全向立体转换则通过重采样和深度三角化，使视差在每个注视方向上都保持正确。

实验使用冻结的Wan2.1-1.3B骨干网络和PanoWan等距柱状LoRA。在各有500个视频的两个生成集上，PEGS在立体一致性轴上从3.121毫弧度降至2.640毫弧度，MEt3R从0.096降至0.081。与DissolveStereo在50个片段上比较，不一致率从8.2%降至2.6%，p95从15.4毫弧度降至8.4毫弧度，在46个片段上表现更优。与相机控制的全景生成器OmniRoam在10个片段上比较，不一致率从46.0%降至1.2%，p95从132.9毫弧度降至8.2毫弧度，在9个片段上表现更优。消融实验显示，以PEGS为偏好信号进行DPO微调后，得分高于6毫弧度的片段减少，而使用MEt3R时分布形状基本不变，中位数反而变差。