中美研究团队研发VR-GS渲染技术，在XR中实时控制3D高斯泼溅生成的对象
查看引用/信息源请点击：radiancefields
在XR中实时控制3D高斯泼溅生成的对象
（映维网Nweon 2024年02月20日）随着VR/MR的发展，尤其是自从苹果Vision Pro亮相以来，人们越来越关注可以将数字内容叠加到现实世界并操作相关虚拟对象的空间计算技术。
日前，由加州大学，香港大学，犹他大学，浙江大学，Style3D，卡内基梅隆大学和亚马逊组成的团队发布了名为《VR-GS: A Physical Dynamics-Aware Interactive Gaussian Splatting System in Virtual Reality》的论文。其中，团队介绍了一种在XR中实时控制3D高斯泼溅生成对象的方法。
团队认为，传统的3D/4D内容创建依赖于3D建模工具和游戏引擎，它们耗时且复杂，通常超出了非专业用户的能力范围。这种障碍限制了用户在高质量内容创作中的参与度。认识到传统图形管道的优点和局限性，并且为了提高视觉质量和为非专业用户创建的易用性，团队在图形管道中远离传统的3D模型，而是采用最先进的神经辐射场NeRF技术进行渲染。
尽管具有多功能性，但NeRF的体三维渲染对需要高帧率的扩展现实设备而言交互渲染效率不足。另外，NeRF处理变形的方法非常缓慢。幸运的是，3D Gaussian Splatting（3D GS）已经出现，并成为NeRF有效和明确的替代方案。
这个方法不仅在渲染效率方面表现出色，而且提供了可以直接变形或编辑的显式几何表示。3D GS的显式性质可以通过求解控制高斯内核运动的偏微分方程来简化几何图形的直接操作。另外，GS消除了对高保真网格、UV map和纹理的需求，提供了自然逼真外观的潜力。
在研究中，由加州大学，香港大学，犹他大学，浙江大学，Style3D，卡内基梅隆大学和亚马逊组成的团队介绍了VR-GS。这个物理感知的交互式虚拟现实系统可用于沉浸式操作以GS表示的3D内容。
为了确保交互式体验，团队使用了具有高度适应性和统一的物理模拟器eXtended Position-based Dynamics（XPBD）来进行实时变形模拟。将模拟器直接集成到GS内核中存在挑战，因为模拟和渲染过程具有不同的几何表示。
为了解决这个问题，研究人员为每个分割的GS内核组构建了一个四面体cage，并将内核组嵌入到相应的网格中。变形网格在XPBD的驱动下引导GS内核的变形。
由于注意到简单的嵌入技术可能导致GS内核中出现非期望的伪影，团队提出了一种新的两级嵌入方法。这种方法允许每个高斯内核适应周围四面体的平滑平均变形。通过两级嵌入，GS和XPBD的复杂结合不仅实现了基于物理的实时动态，而且保持了高质量的逼真渲染，实现了高保真的沉浸式XR体验。
总的来说，VR-GS系统的核心创新是它能够在混合现实环境中进行交互式3D内容操作和渲染的开创性方法。这项创新是围绕高斯泼溅与物理感知动力学的集成，以促进与可变形虚拟实体和复杂详细环境的实时交互。
XPBD与GS内核的集成引入了一层具有适应性和高效率的基于实时物理的仿真。这种组合确保了XR环境中的交互不仅在视觉方面引人注目，而且符合物理定律，从而增强了虚拟体验的真实感。
VR-GS另一个突出点是分割能力。系统的分割能够一丝不苟地识别和隔离3D场景中的各种对象，允许用户以无与伦比的精度与单个元素进行交互和操作。这个过程对于创造一个真正的交互式XR体验至关重要，因为每个对象的行为都与现实世界一样，可以遵循物理定律。
然而，交互会潜在地暴露了原始数据集中被遮挡或未捕获的区域。这就是inpainting发挥作用的地方。VR-GS利用先进的inpainting技术来动态填充空白，确保场景的视觉完整性保持完整。inpainting对于保持虚拟环境的连续性至关重要，允许无缝编辑，有助于整体逼真的体验。
其他非常酷的小细节包括动态阴影投射和实时变形嵌入。Shadow Map用于为3D场景添加动态阴影，从而增强视觉真实感和空间意识。这对于沉浸式虚拟现实体验至关重要。
这个过程从从光源角度生成深度图开始。它记录了场景中从光线到表面的最近距离，有效地捕捉了场景中哪些部分被直接照亮，哪些部分被遮挡。当从用户的视点渲染场景时，系统将场景中每个点的深度与存储的深度图进行比较。匹配或比深度图更近的点被认为是亮的，而更远的点则处于阴影中。当物体移动或光源改变位置时，VR-GS系统动态更新深度图并重新计算阴影。这确保了阴影准确地反映了环境的当前状态，从而有助于实现逼真和响应的VR体验。
最重要的是，VR-GS的处理速度很快。非常快。
你可能想知道是什么驱动了这一切？是像VR-NeRF一样的20 GPU工作站吗？不完全是。他们用到的是Unity，以及RTX 4090和Quest Pro。
相关论文：VR-GS: A Physical Dynamics-Aware Interactive Gaussian Splatting System in Virtual Reality
目前团队没有说明是否会及何时会提供VR-GS，但考虑到作者在论文中的描述，我相信我们很快就能看到这一天的到来。
