丰田团队提出自监督铰接物体重建框架SPLART
能够对新颖视角和铰接状态进行实时、照片级真实感的渲染
（映维网Nweon 2025年09月25日）重建日常环境中普遍存在的铰接物体对于增强现实/虚拟现实等应用至关重要。然而，现有方法面临可扩展性限制（需要3D监督或昂贵的标注）、鲁棒性问题（容易陷入局部最优）和渲染缺陷（速度慢或缺乏照片级真实感）。针对这个问题，丰田团队介绍了SplArt。这个自监督、跨类别框架利用3DGS技术，仅需从在不同铰接状态下捕获的两组已定位RGB图像，即可重建铰接物体并推断其运动学，从而能够对新颖视角和铰接状态进行实时、照片级真实感的渲染。
SplArt通过为每个高斯点引入一个可微分的移动性参数来增强3DGS，实现了精细化的部件分割。框架采用多阶段优化策略，逐步处理重建、部件分割和铰接估计，显著提高了鲁棒性和准确性。另外，SplArt利用几何自监督，有效应对具有挑战性的场景，无需3D标注或类别特定的先验知识。在既有和新提出的基准测试的评估，以及使用手持RGB摄像头在真实场景中的应用，均证明了SplArt的先进性能和现实实用性。
铰接物体（如抽屉、门、剪刀）在我们的日常生活中无处不在，然而其动态特性为3D重建带来了重大挑战。现有的铰接物体重建方法受到数个关键限制的阻碍：它们通常需要劳动密集型的监督；依赖于限制实际应用的3D监督；产生特定于类别的模型，限制了可扩展性；或者它们无法实现实时、照片级真实感的渲染。
......（全文 2038 字，剩余 1529 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
