中科院与谷歌联合研发HOGSA框架:3D高斯飞溅技术实现双手交互数据高效增强
能够将现有数据集增强为具有各种手-物体姿态和视点的大规模逼真数据
(映维网Nweon 2025年05月16日)对人机交互的理解在虚拟现实等应用中起着重要的作用。然而,由于手和物体之间的明显遮挡以及高自由度运动,收集和注释高质量的大规模数据集是一项挑战,阻碍了双手与物体交互相关基线的进一步改进。
在一项研究中,中国科学院,中国科学院大学和谷歌团队提出了一种基于3DGS的手工手-物体交互数据增强框架,而它能够将现有数据集增强为具有各种手-物体姿态和视点的大规模逼真数据。
首先,使用基于网格的3DGS对物体和手进行建模,并设计了一个超分辨率模块来解决多分辨率输入图像导致的渲染模糊问题。
其次,团队扩展了针对双手物体的单手抓取姿态优化模块,生成了双手物体交互的各种姿态,以显著扩展数据集的姿态分布。第三,研究人员分析了所提出的数据增强的不同方面对理解双手-物体交互的影响。
......(全文 1500 字,剩余 1149 字)
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限