清华大学等创新3DGS框架GS-Cache实现城市级场景120FPS双目2K渲染
在消费级设备渲染大规模3DGS模型
（映维网Nweon 2025年06月13日）在消费级设备渲染大规模3DGS模型面临着实现实时、高保真性能的重大挑战。要在虚拟现实等应用中充分发挥3DGS的潜力，就需要解决关键的系统级挑战，以支持实时的沉浸式体验。
在一项研究中，上海人工智能实验室和清华大学团队提出了GS-Cache。这个端到端框架无缝集成了3DGS的高级表示和高度优化的渲染系统。
GS-Cache引入了一个以缓存为中心的管道来消除冗余计算，一个用于弹性多GPU渲染的效率感知调度程序，以及优化的CUDA内核来克服计算瓶颈。这种3DGS和系统设计之间的协同作用使得GS-Cache能够实现高达5.35倍的性能提升，减少35%的延迟，降低42%的GPU内存使用，并支持超过120 FPS的2K双目渲染。
通过弥合3DGS的表示能力与VR系统需求之间的差距，GS-Cache为沉浸式环境中的实时神经渲染建立了一个可扩展且高效的框架。
实时渲染高质量、大规模的3D场景是一项资源密集型任务。3D场景的渲染在包括虚拟现实、增强现实和元宇宙在内的诸多领域都起着至关重要的作用。
神经辐射场NeRF和3DGS作为3D重建和渲染的新方法，能够渲染出令人难以置信的真实感和细节图像，支持各种对视觉感知要求非常高的应用。随着对更精细场景质量和更大场景规模的需求增加，新的方法如结构化高斯推导方法不断出现。
3DGS方法实现了大规模场景的重建，支持城市级3DGS模型训练。然而，大规模场景实时渲染的计算和内存强度随着场景规模的扩大而显著增加，一般的解决方案通常涉及计算资源的扩大。
结构化高斯推导方法实现了高质量的重建，从模型结构上一定程度上降低了大尺度场景实时渲染的难度，是实现VR大尺度场景逼真渲染最有前途的方法之一。因为VR渲染对质量和性能的要求明显高于其他应用。
目前的3DGS渲染管道是两只眼睛交替渲染图像，不足以支持沉浸式VR体验所需的帧率（每只眼睛72 FPS的最低要求意味着总共至少144 FPS）。
上海人工智能实验室和清华大学团队在结构化3DGS模型OctreeGS进行了实验，跟踪FPS并分析推理时间开销。他们指出，FPS会随着视角的提升而下降。很大一部分推理时间花在推导阶段，这是一个主要的开销。正如大型语言模型使用KV缓存来加速推理一样，团队考虑使用缓存来加速3D模型推理。
渲染通常是一个连续的过程，在连续的帧之间有很多重叠。重叠区域重用前一帧的数据，导致颜色差异很小。有其他研究人员提到，人眼很难辨别细微的颜色变化。所以，团队设计了一个带有动态缓存的弹性渲染框架来存储以前的数据，从而加速渲染。
研究人员提出了一种用于大规模高斯飞溅渲染的计算框架GS-Cache，其中场景包含的区域达到几平方公里的城市级规模，从而实现双目2K分辨率头戴式显示器的实时渲染帧率要求，如图5所示。架构图的中间部分表示整个框架的主要结构，右侧显示其弹性并行调度器结构，左侧显示以缓存为中心的渲染管道结构。弹性并行调度程序动态调度GPU资源，稳定FPS，避免资源浪费。
对于结构化的3DGS模型，将原有的管道转换为以缓存为中心的管道，目的是基于冗余和重用的原则提高渲染速度。另外，针对结构化高斯派生渲染管道中一般计算模式的瓶颈阶段，研究人员引入了专用的CUDA内核进行进一步加速，提高了长时间渲染时实时渲染的帧率性能。
3D重建场景的渲染过程涉及到对学习到的3D空间特征的推理和转换，这使得传统的专注于1D或2D特征（如文本和图像）的计算框架在相关任务中很弱，如Pytorch、Tensorflow、JAX等。这种深度学习框架具有通用性和可扩展性，足以实现神经渲染方法（如NeRF和3DGS）的基本计算管道。然而，在渲染应用程序的进一步开发中实现易用性是一个挑战，并且缺乏专门的算子来支持高维空间的稀疏计算，导致渲染管道的计算速度无法实现实时渲染。
一系列用于神经渲染的专用框架，如NeRFStudio和Kaolin-Wisp，通过模块化提高了模型结构实验研究的易用性；以及用于稀疏计算的专用算子库，如Nerfacc，通过加速NeRF计算管道中的特定阶段，提高了整体渲染速度。尽管它们建立了强大的社区影响力，并迅速推动了NeRF、3DGS等神经渲染的相关研究，拓展了基于神经渲染的应用领域，但渲染速度依然难以支持大规模场景中沉浸式VR体验的实时渲染帧率要求。
相反，GS-Cache框架提供了一种全新解决方案。优化后的计算管道消除了计算冗余，为沉浸式VR体验进行有效的计算重用，并在渲染过程中灵活调度GPU计算资源，确保稳定、高的渲染帧率，优化消费级GPU资源的能效。
另外，它通过专门的CUDA内核加速了管道中的主要计算瓶颈，进一步提高了VR渲染的性能。
相关论文：GS-Cache: A GS-Cache Inference Framework for Large-scale Gaussian Splatting Models
总的来说，团队展示了一种面向结构化高斯推导方法的渲染框架GS-Cache框架，它可以实现包括城市和街道高斯重构场景在内的大规模场景实时渲染，能够满足沉浸式VR体验的高速和高保真要求。
他们的关键贡献包括以缓存为中心的去冗余渲染管道，支持多GPU并行和弹性调度的渲染框架，以及用于计算瓶颈阶段的专用CUDA内核。在实验中，团队验证了GS-Cache框架相较于基线方法实现了显著的性能提升，在消费级GPU等资源有限的情况下，能够满足双眼2K分辨率大于72FPS和大于120FPS的帧率要求，且不会造成明显的质量损失。
