PanSplat框架通过球形高斯排列技术提升4K全景VR渲染效率
支持高达4K （2048 × 4096）的分辨率
（映维网Nweon 2025年05月09日）随着便携式360度摄像头的出现，全景应用获得了极大的关注。所以，宽基线全景视图合成已经成为一项重要的任务，其中高分辨率，快速推理和内存效率必不可少。然而，由于内存和计算需求的限制，现有的方法通常限于较低的分辨率（512 × 1024）。
在一项研究中，蒙纳士大学，Building 4.0 CRC，苏黎世联邦理工学院团队提出了一种可泛化的前馈方法PanSplat，并能有效地支持高达4K （2048 × 4096）的分辨率。
所述方法具有定制的球形3D高斯金字塔和斐波那契晶格排列，在减少信息冗余的同时提高了图像质量。为了适应高分辨率的需求，研究人员提出了一个集成了分层球面成本体积和高斯头与局部操作的管道，实现了在单个A100 GPU进行内存高效训练的两步延迟反向传播。
实验证明，PanSplat在合成和真实数据集都能以卓越的效率和图像质量获得最先进的结果。
随着360度摄像头和沉浸式技术的兴起，对虚拟现实和虚拟旅行的需求激增。全景光场系统支持用户在指定的虚拟空间内从一系列任意视点探索环境，为提供逼真的沉浸式体验提供了引人注目的解决方案。
360度摄像头的最新进步简化了沉浸式内容的创建，推动了街景和虚拟旅游等应用的发展。其中，从宽基线全景图合成的新颖视图对于提供位置之间的平滑过渡至关重要。
近年来，深度学习在沉浸式内容创作方面取得了重大进展。尽管目前的方法已经广泛地探索了宽基线全景视图合成，但它们往往难以平衡计算效率、内存消耗、图像质量和分辨率。
传统方法依赖于明确的3D场景表示，如多平面图像或网格。它们提供了潜在的高分辨率可扩展性，但通常会产生较低的图像质量。相比之下，基于神经辐射场NeRF的方法提供了高质量的结果，但计算要求高，内存密集，使其不适合高分辨率全景图。
大多数现有方法的最大分辨率都限制在512×1024，远低于4K (2048×4096)，而这是VR应用程序中真正沉浸式体验通常需要的分辨率。
3DGS的新趋势在合成新视图方面显示出有希望的结果，标志着图像质量和计算效率的重大进步。通过将场景表示为高斯基元的集合，3DGS使用栅格化而不是NeRF的体三维采样来实现高质量，高效的渲染，同时为训练提供了可微分渲染。
随后的研究进一步推动了3DGS的发展，通过引入前馈网络直接从输入图像中预测高斯分布，并将其扩展到稀疏视图输入。
尽管取得了进步，但现有的3DGS方法并不能直接适用于全景图。这主要有两个挑战：全景图独特的球形几何形状与像素对齐的高斯分布相冲突，导致两极附近的高斯分布重叠和冗余；VR应用的高分辨率需求，由于内存限制，当前方法无法有效扩展。
在一项研究中，蒙纳士大学，Building 4.0 CRC，苏黎世联邦理工学院团队提出了PanSplat，一种针对4K分辨率输入优化的前馈方法，以生成专门为全景格式定制的3D高斯表示，从而实现从宽基线全景图中合成4K新颖视图。
为了解决第一个挑战，研究人员引入了3D高斯函数的斐波那契晶格排列（如图2所示），通过在球体均匀分布来显著减少所需的高斯函数。另一方面，为了提高渲染质量，团队实现了3D高斯金字塔，在多个尺度表示场景，不红不同层次上的细节。
为了解决第二个挑战，利用基于transformer网络的分层球形成本体积来估计高分辨率3D几何形状，从而提高效率。然后，用局部操作设计高斯头来预测高斯参数，实现两步延迟反向传播，以实现4K分辨率下的高效内存训练。
另外，他们引入了一种延迟混合技术，以减少由于移动对象和深度不一致而导致的高斯分布不一致的伪影，从而提高现实场景中的渲染质量。
相关论文：PanSplat: 4K Panorama Synthesis with Feed-Forward Gaussian Splatting
总的来说，PanSplat是一种可泛化的前馈方法，用于从宽基线全景图中合成新的视图。为了有效地支持沉浸式VR应用的4K分辨率（2048×4096），团队引入了一个可以实现两步延迟反向传播的管道。另外，他们提出了一个球面三维高斯金字塔，其具有专为全景格式定制的斐波那契晶格排列，从而提高渲染质量和效率。
大量的实验证明了PanSplat在图像质量和分辨率方面优于现有技术。当然，尽管PanSplat为高分辨率全景新视图合成提供了一个很有前途的解决方案，但它缺乏对动态场景中移动对象的支持。所以，未来的工作把偶哦探索扩展PanSplat，通过结合动作感知表示来处理动态场景。
代码请访问这个页面。
