Meta提出硬件栅格化RayGS渲染方法实现VR级新视图合成
为新视图合成实现快速和高质量的结果
（映维网Nweon 2025年07月03日）在一项研究中，Meta团队提出了一种RayGS硬件栅格化渲染方法，目标是为新视图合成实现快速和高质量的结果。解决方案是第一个能够以足够高的帧率渲染RayGS模型，以支持质量敏感的应用，如虚拟现实和混合现实。另外，通过解决在训练和测试期间渲染发散尺度时出现的mip相关问题，从而为RayGS实现无锯齿渲染。研究人员在不同的基准场景中展示了显著的性能提升，同时保留了最先进的RayGS外观质量。
神经辐射场NeRF和3DGS的发展为虚拟现实和混合现实应用中的逼真新视图合成时代铺平了道路。辐射场可以捕获现实世界场景的细微差别，包括细粒度纹理细节，复杂的照明现象和透明表面。3DGS则具有一系列有趣的属性，包括可解释性，灵活性和实时渲染。一旦场景模型重建，像新视图合成这样的应用就需要快速和实时的渲染能力。
尽管3DGS比NeRF快得多，并且进一步的研究旨在解决提高渲染速度的问题，但它们的大多数目标应用依然集中在2D消费或小型屏幕的渲染。相比之下，VR应用在渲染质量方面的标准要高得多，因为低渲染质量会破坏沉浸感，从而减损整体体验。
一系列的研究都有助于进一步提高3DGS的重建质量，特别是基于光追的3DGS，亦即RayGS的体渲染显示出卓越的质量。质量的提高主要是由于消除了传统3DGS所需的特定近似，但这增加了计算成本，使其不适合基于消费级硬件的高帧率应用。
在Meta的研究中，研究人员提出了一种基于硬件栅格化的新颖且实质上更快的渲染器，同时保留了RayGS的高质量。硬件栅格化管道已经在标准3DGS成功演示，基于使用标准图形管道组件实现跨平台使用。对于标准3DGS，顶点着色器通过四边形包围相应的投影椭圆在图像平面的最小面积来确定每个高斯基元的支持面积。然后片段着色器计算原语的不透明度信息，给出顶点着色器计算的位置信息。
团队提出的解决方案在3D空间中产生最小的封闭四边形，结果证明与标准3DGS的硬件栅格化变体一样快，同时保留了RayGS的更高质量。他们主要是从无穷多个有效解中选择计算最有效的解，这是团队的第一个重要贡献。
团队的第二个贡献解决了与mip相关的问题。所提出解决方案可以在不同的测试和训练尺度实现图像的无锯齿渲染，从而防止不必要的伪影。对于给定的归一化射线，在与射线正交并与其最大密度点相交的平面边缘化高斯三维分布。这产生了一个二维高斯分布，可以局部平滑以近似像素区域上的积分，并进一步计算像素区域中每个点的渲染不透明度。他们推导了一个近似的解决方案，并可以有效地集成到渲染器中。
总而言之，团队提出了一个数学上严格和几何上直观的推导，以用于推导高质量和快速，硬件光栅化，基于光线的高斯飞溅所需的所有数量。他们同时介绍了一种在RayGS中处理mip相关问题的解决方案，并通过定性和并排比较进行了演示。最后，他们提供了定量评估结果，证明可以保留基于RayGS模型的最先进外观性能，同时从MipNeRF360和Tanks&Temples基准数据集中获得平均约40倍的快速渲染性能。
理解为什么解决与mip相关的问题很重要，团队在图4提供了一个来自MipNeRF360自行车场景的示例。他们展示了从远处摄像头渲染的图像中截取的自行车。左上角，用普通的VKRayGS提供渲染，它展示了强大的混叠伪影。右上，采用了4倍多采样抗锯齿（MSAA）方法，即每像素平均4条射线，但这种解决方案只能部分解决问题，并且计算成本更高。
左下的解决方案解决了锯齿问题，但原语不自然地厚（参见自行车车轮光线）。最后在右下角，团队的解决方案产生无伪影的抗锯齿输出，计算开销可以忽略不计。
图5突出显示了当使用像VKGS这样的GS渲染器而不是像团队方案时通常发生的伪影。图例展示了在MipNeRF360的房间场景中沿线性轨迹移动的摄像头的三帧。摄像头移动到场景中的物体附近是有目的的，因为这通常是发生伪影的环境。上面一行展示了VKGS的结果，它显示出与场景几何不一致的峰值。下面一行报告了使用VKRayGS获得的结果。正如你所见，影响GS渲染器的伪影不存在。这是因为在RayGS模型中，渲染的不透明度在几何上比GS更一致。
总的来说，Meta提出了一种使用硬件光栅化来渲染RayGS的新方法，并实现了快速和高质量的新视图合成结果。所述解决方案利用了RayGS的优势，而与传统3DGS相比，它提供了卓越的质量，同时在所有测试场景中获得了显著的渲染速度提升。实验已经证明，所提出方法可以以适合VR和MR应用的帧率渲染高质量的图像。团队的贡献包括数学上严格和几何上直观的推导，有效地估计RayGS模型渲染的所有相关数量，以及解决RayGS公式中与mip相关的问题，它可以在不同的测试和训练尺度上实现场景的无锯齿渲染。
研究人员展示了如何在测试时显著加速RayGS模型，但使用硬件栅格化来改善训练时间会非常有趣。当然，如何实现这一点并不容易，所以团队将把这个课题留给未来的研究。
