普林斯顿大学团队发布SplatXR工具包：将3D高斯溅射无缝引入XR一体机
将3D高斯溅射无缝引入XR一体机
（映维网Nweon 2026年11月02日）普林斯顿大学团队提出了一款名为SplatXR的Unity工具包，目标是解决基于多边形的传统管线与新兴的3D高斯溅射（3DGS）等隐式表征难以兼容的问题，为开发者提供了一套在XR一体机进行多层扩展现实应用开发的模块化解决方案。
近年来，高斯溅射、3D基础模型和视频透视混合现实技术取得了显著进展，为融合物理与虚拟世界提供了极高的保真度。然而，现有的XR方法多依赖基于多边形的管道，将物理和数字环境视为独立领域，难以与新型表征无缝集成。另外，由于溅射缺乏显式的表面几何信息，无法直接应用阴影计算或碰撞检测等标准图形学技术。尽管3D基础模型能够即时将物理对象重建为数字溅射，但目前的XR系统尚未充分利用这一能力。
为了解决上述痛点，研究团队将XR重新组织为一种由交互图元构成的“多层现实”，包括物理层、光度层（如溅射或渲染帧）、几何层（传统多边形对象）、幻影结构层（不可见但对齐的显式几何体，用于阴影和碰撞）以及语义层（如手部追踪或对象识别）。基于此框架，SplatXR允许像素和物体在物理与数字边界之间自由穿梭。
SplatXR作为一个Unity包，可通过Unity包管理器轻松安装。它包含四个主要的构建模块：
-
溅射渲染器（Splat Renderer）：专为XR设备设计的3D高斯溅射渲染管道。它支持无线运行，并引入了细节层次（LoD）渲染技术，在用户近处显示高分辨率溅射，远处显示低分辨率，以保障移动GPU的性能。
-
溅射物理（Splat Physics）：由于溅射本身缺乏表面信息，该模块通过行进立方体或泊松重建算法，从溅射中自动生成“幻影网格”，赋予其碰撞检测和投射阴影的能力，同时视觉上仅渲染溅射。
-
溅射效果（Splat Effects）：提供可自定义的着色器模板，支持对象的消散与重组、径向显现、脉冲等动画效果。
-
溅射混合（Splat Blending）：支持虚拟场景与物理场景的混合，开发者可利用空间遮罩和自定义着色器，创建体积门户或现实削弱等效果。
除了本地渲染与物理交互，SplatXR还提供了一套基于边缘计算的系统。用户通过头显在物理空间中选择目标点，系统会截取当前的透视视图，并利用SAM 3和SAM 3D Objects等图像到3D的基础模型，将物理对象重建为数字溅射，并自动缩放至真实世界尺寸。尽管当前生成过程平均需要2.38分钟，但研究团队认为，作为一种快速3D重建手段，这是开发者在XR应用中引入外部物体的可接受权衡。
◐ 应用演示与开发者反馈
为展示工具包的能力，研究团队开发了多个演示应用，包括：利用语义关联将手表溅射绑定到用户手腕的“虚拟试戴”；用安静的图书馆溅射替代嘈杂环境的“图书馆专注模式”；以及在物理桌面上抛掷虚拟球撞击溅射汽水罐的“抛球游戏”。这些应用均展示了无线头显端溅射渲染、自动溅射转网格代理生成，以及带有环境几何遮挡的AR透视合成能力。
在技术评估中，研究团队测试了27种配置。结果显示，对于5万和10万高斯数量的对象，渲染器能保持72 fps的满帧率；但在20万高斯数量下，帧率会有所下降（平均59 fps）。针对复杂的室外和室内场景，在最密集视点下，20万高斯数量会导致帧率降至38 fps（室外）和36 fps（室内）。此外，网格生成、对象重建等操作均需要一定的处理时间。
在初步的开发者研究中，三位具有Unity XR开发经验的开发者参与了测试。参与者表示，该工具包“即插即用”，集成时间短，且其构建模块与Meta SDK的直觉相匹配。不过，参与者也指出了当前版本的局限性，例如在大场景中物理效果不稳定、缺少运行时溅射加载功能，以及添加多个溅射房间后可能出现的卡顿问题。
相关论文：SplatXR: A Toolkit for Multi-Layered Extended Reality via On-Headset 3D Gaussian Splatting
研究团队指出，SplatXR目前仅支持静态溅射，且溅射本身无法响应环境光照。未来的工作将集中在探索动态溅射（如4D视频或溅射化身）、实时光照重打技术，以及利用机器学习对导入的溅射进行语义分析，以支持可步行空间的自动推导等。研究团队认为，随着XR场景表征日益隐式化，SplatXR提供了一种将非结构化隐式表征与物理交互所需显式结构相集成的架构愿景。
更多信息请访问这个页面。
