SpikeGS: 基于脉冲摄像头的高速三维高斯溅射模型与场景重建探索
具有高质量的新视图渲染
（映维网Nweon 2025年01月02日）用传统摄像头捕获高速场景往往会导致运动模糊，阻碍了3D重建的有效性。为了应对这一挑战，高帧率密集3D重建成为了一项至关重要的技术，可在虚拟现实和增强现实等领域对现实世界对象或场景进行详细而准确的建模。
脉冲摄像头（Spike Camera）是一种新型的神经形态传感器，可以以超高的时间分辨率连续记录场景，并显示出精确3D重建的潜力。尽管前景光明，但现有方法的渲染过程耗时。
为了解决这个问题，北京大学和武汉大学团队首次尝试将3D高斯飞溅（3DGS）引入脉冲摄像头，以提供3DGS作为密集和连续的视图线索，然后构建了SpikeGS。
具体来说，为了训练SpikeGS，研究人员建立了3DGS的渲染过程与连续Spike流的瞬时成像和类曝光成像过程之间的计算方程。
另外，他们建立了一个非常轻量级但有效的映射过程以支持训练，并引入了一个基于Spike的3D渲染数据集进行验证。大量的实验表明，所提出方法具有高质量的新视图渲染，证明了脉冲摄像头在建模3D场景方面的巨大潜力。
......（全文 2069 字，剩余 1689 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
