英伟达提出基于单目RGBD视频的6DoF追踪和三维重建方法
给定单目RGBD序列和2D物体掩模（仅在第一帧中），所述方法可以执行六自由度追踪和未知对象的3D重建
（映维网Nweon 2023年08月04日）计算机视觉中的两个基本问题是从单目RGBD视频中进行六自由度姿态追踪和未知对象的3D重建。解决所述问题将开启在增强现实和机器人操作等领域的广泛应用。
以前的研究通常将这两个问题分开考虑。例如，神经场景表示在从真实数据创建高质量3D对象模型方面取得了巨大成功。然而，所述方法假设已知的camera姿态和/或ground truth对象掩模。另外，通过动态移动的摄像头捕捉静态对象会阻碍完整的3D重建（如果物体放在桌面，则永远看不到物体的底部）。
另一方面，实例级六自由度对象姿态估计和追踪方法通常需要事先对测试对象进行纹理化的3D模型，以进行预训练和/或在线模板匹配。尽管类别级方法可以泛化到同一类别中的新对象实例，但它们难以处理分布外的对象实例和未见过的对象类别。
为了克服所述局限性，英伟达在名为《BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown Objects》的论文中提出将这两个问题联合起来解决。
......（全文 2945 字，剩余 2557 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
