德国研究团队提出语义控制的Gaussian Splatting方法优化VR场景分割
视觉质量和分割质量方面优于最先进的技术
（映维网Nweon 2025年02月26日）诸如Gaussian Splatting这样的3D渲染技术进步允许在虚拟现实中进行新视图合成和实时渲染。然而，Gaussian Splatting创建的3D环境通常很难编辑。对于场景增强或合并3D资产，按类分割高斯必不可少。
现有的分割方法通常仅限于特定类型的场景，但这种方法在非“循环”场景（如大型户外场景）中移除大型对象时效果不佳。
针对这个问题，德国埃尔朗根-纽伦堡大学，新西兰奥塔哥大学和德国慕尼黑工业大学团队提出了语义控制的Gaussian Splatting（SCGS）。
这是一种分割驱动的GS方法，可以在不受控制的自然环境中分离大型场景部分。SCGS允许为VR编辑场景和提取场景。另外，团队引入了一个具有挑战性的户外数据集来克服“循环”设置。
在数据集的视觉质量和3D-OVS数据集的分割质量方面优于最先进的技术，而研究人员进行了一项探索性的用户研究，比较了360视频、普通GS和固定视点的VR中的SCGS。同时，在随后的主要研究中允许用户自由移动，以评估普通GS和SCGS。主要结果表明，参与者明显更喜欢SCGS而不是普通GS。
允许人们探索物理环境的虚拟复制品多年来一直吸引着人们的兴趣。世界有无数有趣的地方值得去探索。然而，高质量的体验通常需要富有才华的3D美术或昂贵的设备，如激光扫描仪。包括神经渲染和亮度场等的生成式模型发展使得仅从照片创建3D世界成为可能。
相关方法可以用来创建一个对象的高质量表示，甚至是一个完整的3D场景。GS特别减少了渲染时间，使其特别适合在VR中使用。
通过将GS集成到VR中，用户可以体验到近乎逼真的环境。新视角合成（NVS）可以在不需要直接捕获场景特定部分的情况下，从新颖视点生成渲染。这对于VR来说尤其有趣，因为用户想要移动到最初捕获的camera路径之外。
由于GS建立在原语之上，它们可以与建模对象无缝集成。这种整合结合了GS和游戏引擎的优势，允许通过用游戏引擎内容替换部分场景来增强或使其更具交互性。对于几乎任何编辑高斯和3D资产的集成，高斯必须分成不同的类以便它们可以单独编辑，删除或替换。
现有的数据集专注于NVS评估，而不是提供令人愉悦的VR体验。将NVS应用于非“循环”场景给GS分割带来了独特的挑战。其中，非“循环”场景允许用户包裹在3D环境中，而不是查看孤立的重建。对于室外场景，室外环境中特征的相似性（如反射水）使得分割比人造场景的分割越来越困难。
在一项研究中，德国埃尔朗根-纽伦堡大学，新西兰奥塔哥大学和德国慕尼黑工业大学团队提出了一种新的语义控制的GS方法（SCGS），可以实现场景元素的精确分割。
这种精确的分割允许通过删除或替换其他3D资产对象来编辑场景。例如，用匹配的（动态）3D资产替换大型场景部分，如静态重建的水或天空，以促进更定制的体验。
考虑到天空的替换，所述方法可以针对使用预先捕获图像可能发生的不一致或不需要的天气条件。另外，用晴朗的蓝天代替多云的天空可以带来更吸引人的VR体验。
在数据集的视觉质量和3D-OVS数据集的分割质量方面优于最先进的技术，而研究人员进行了一项探索性的用户研究，比较了360视频、普通GS和固定视点的VR中的SCGS。同时，在随后的主要研究中允许用户自由移动，以评估普通GS和SCGS。主要结果表明，参与者明显更喜欢SCGS而不是普通GS。
总的来说，研究人员提出了一种基于语义控制的GS的方法，以及一个具有挑战性的户外场景数据集。总之，SCGS引入了一种增强的GS方法，可用于在VR中生成大规模3D资产。
他们从技术和用户角度来评估所提出的方法。结果表明，当用户在环境中自由移动时，SCGS在存在感和感知质量方面明显优于普通GS。从技术角度来看，在新数据集的对象移除和场景编辑方面优于最先进的技术。分割质量提供了最先进的结果，证明SCGS可以处理各种不同的场景。
