中意研究团队提出RF-GS方法提升VR场景渲染稳定性
场景视图合成
（映维网Nweon 2025年08月04日）场景视图合成，亦即从有限的角度生成新的视图，在虚拟现实和增强现实等应用中越来越重要。与基于对象的任务不同，场景视图合成处理整个环境。其中，不均匀的观察对稳定的渲染质量构成独特的挑战。为了解决这个问题，意大利米兰理工大学和中国科学院大学团队提出了一种新的方法：可渲染性场引导的高斯飞溅（RF-GS）。
所提出方法通过可渲染性域量化输入不均匀性，引导伪视图采样增强视觉一致性。为了保证宽基线伪视图的质量，研究人员训练了一个图像恢复模型，将点投影映射到可见光样式。另外，验证的混合数据优化策略有效地融合了伪视角和源视图纹理信息。模拟和真实数据的对比实验表明，所提出方法在渲染稳定性方面优于现有的方法。
渲染3D场景对于虚拟现实/混合现实应用至关重要。尽管目前的研究实现了高保真渲染，但对密集视图的依赖限制了它们的实际应用。神经辐射场（NeRF）通过神经辐射场表示实现高级目标重建。尽管随后的研究改进了其泛化能力，但NeRF的训练和渲染成本依然是一个限制。
与NeRF的隐式3D场景表示不同，3D高斯飞溅利用运动结构（SfM）生成一个粗糙的点云，用高斯椭圆表示整个场景，这大大减少了场景优化和渲染时间。然而，3D GS在很大程度上依赖于不同的视角，并且容易在弱观测区域过度拟合，导致渲染质量显著下降，并引入潜在的可靠性问题。
另外，由于源图像捕获和场景访问之间的可移动范围差异，即使增加了拍摄密度，消除局部伪影依然具有挑战性。非均匀观测以观测频率低、方向覆盖不全为特征，对稳定的视点合成提出了重大挑战。宽基线新视图在视角和位置上与源视图有很大不同，常常导致观测弱。
从图1可以看出，在宽基线条件下，非均匀观测区域（如地面）的渲染质量明显低于均匀观测区域（如最左边的桌子），并且与窄基线下生成的合成视图存在明显差异。为了减轻非均匀输入对3D GS模型的负面影响，意大利米兰理工大学和中国科学院大学团队提出了一种可渲染性场引导的3D GS方法，如图2所示，所述方法的核心是通过伪视图增强数据，增强模型的泛化能力。
如表1所示，团队将5449个视图的评价结果作为算法性能的基本事实，13个视图的结果代表性能预测。尽管FSGS在局部评价上优于SparseGS，但这一结论与全局评价并不匹配，说明局部评价结果对于代表整个场景的渲染质量是不可靠的。另外，全局评价表明，CoR-GS在PSNR上与Octree-GS相匹配，在SSIM和LPIPS上优于Octree-GS。
然而，如图6c所示，CoR-GS产生难以忍受的伪影，并且明显弱于OctreeGS。结合SDP分析，CoR-GS在局部范围内表现出更好的渲染质量和稳定性。尽管如此，其泛化程度在此范围内显著下降，表明过拟合更为严重。传统的度量标准通常表示平均测试值，可能无法捕获质量波动。
为了解决这个问题，研究人员引入SDP作为一个度量来评估算法的稳定性。通过使用空间统一的测试用例组合所有四个度量，团队确保了合成质量的可靠评估。
如图5所示，以PSNR = 25为参考线，研究人员提出的方法减少了低质量视图的数量，提高了新视图合成质量的下界，同时保持了3D-GS的高质量视图分布。Octree-GS渲染的新视角在PSNR范围内是稀疏的，这表明渲染质量的上界有所降低。其他方法与团队提出方法相比有明显的差距。
混合数据训练增强了泛化，实现了最低的SDP，但牺牲了一定的渲染质量。图7c显示，尽管它消除了伪影并确保了一致性，但它会导致过于光滑的外观，在反射和纹理上缺乏真实感。为了缓解这种情况，团队使用真实数据对颜色进行微调，细化细节（图7d）。这种方法在质量和泛化方面都超过了基线。
真实世界的数据密集测试与模拟数据相比难以在真实世界中获得，因此必须辅以定性结果来评估算法的性能。scannet++数据相对密集，因此测试数据主要量化范围内的视图质量，与整体场景泛化的相关性有限。表III表明RFGS的性能与标准GS相当，这表明添加的伪视图不会干扰源视图拟合。
结合定性结果，图8a表明，团队提出的方法显著增强了具有挑战性的区域，没有引入明显的伪影或空洞，优于其他方法。稀疏的自定义数据反映了方法在宽基线上的性能，并部分地代表了整个场景的泛化。从表III可以看出，所提出方法实现了最小的畸变、强的几何一致性和良好的稳定性。如图8b所示，RF-GS可以从任何视点稳定渲染，而其他方法在具有挑战性的区域表现出难以忍受的模糊。
相关论文：Rendering Anywhere You See: Renderability Field-guided Gaussian Splatting
总的来说，团队提出了一种利用可渲染性域来增强自由场景渲染泛化的方法。首先，引入可渲染性场来指导宽基线伪视图选择，加强监督。其次，通过图像恢复模型从点投影图像生成彩色图像，确保伪视图中的几何一致性和图像质量。最后，通过分阶段高斯基元优化混合数据，平衡渲染质量和泛化。
模拟实验强调了可泛化度量SDP的重要性，而scannet++和自定义数据集的比较表明，所提出方法在处理具有挑战性的区域方面优于以前的研究。
当然，当伪视图范围很窄时，模型很难将图像内容与源视图关联起来，从而导致边缘的几何模糊。因此，团队将考虑基于区域的训练，以减少恢复的不确定性。
