研究员基于HoloLens 2进行3D Gaussian Splatting即时3D场景重建
利用Microsoft HoloLens 2数据并通过3D Gaussian Splatting进行即时3D场景重建
（映维网资讯）在摄影测量、计算机视觉和计算机图形学领域，神经三维场景重建的任务带来了针对各种技术的探索。其中，3D Gaussian Splatting因其使用3D Gaussians对场景的显式表示而脱颖而出，并使其对3D点云提取和曲面重建等任务具有吸引力。
受其潜力的激励，德国卡尔斯鲁厄理工学院的一支团队把目光投向3D场景重建领域，并希望利用微软HoloLens 2的功能实现即时3D Gaussian Splatting。
在研究中，团队介绍了一种利用HoloLens传感器数据的全新工作流程HoloGS。它通过即时访问所需的输入数据（图像、camera姿态和深度传感的点云）来绕过了预处理步骤的需要。研究人员提供了全面的调查，而结果表明，HoloLens数据适合作为3D Gaussian Splatting的输入。
NeRFs可以通过神经网络对空间中的3D场景进行所谓的视图合成，从而渲染出新颖视图。神经网络基于一组图像和相应的camera姿态进行训练，并估计每个位置的位置相关密度值和视图相关RGB颜色值。通过连续空间中点的体积密度，可以提取几何形状。
然而，这需要密度阈值等技术或其他从连续神经网络输出生成显式3D重建的方法，而密度具有固有的不确定性。最常见的是，Structure from Motion（SfM）用于计算在预处理步骤中训练NeRFs所需的内部方向和camera姿态。
......（全文 4446 字，剩余 3998 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
