卡内基梅隆大学发布Harmony4D数据集，推动真实场景人类互动研究
多视图视频数据集
（映维网Nweon 2025年04月18日）理解人类如何相互作用是构建逼真多人虚拟现实系统的关键。由于缺乏大规模的数据集，这一领域尚未得到充分的探索。关注这一问题的数据集主要包括完全在受控室内环境中捕获的活动，它们具有精心设计的动作，严重影响了多样性。
为了解决这个问题，卡内基梅隆大学团队介绍Harmony4D，这是一个用于人类交互的多视图视频数据集，包括摔跤，舞蹈，综合格斗等in-the-wild活动。研究人员使用灵活的多视图捕获系统来记录动态活动，并为密切交互的被试提供人体检测，追踪，2D/3D姿态估计和网格恢复的注释。
研究人员提出了一种新的无标记算法来追踪严重遮挡和密切交互下的三维人体姿势，以最少的人工干预获得注释。Harmony4D由166万张图像和332万人类实例组成，来自20多个同步摄像头，具有208个视频序列，跨越不同的环境和24个独特的主题。
团队严格评估了现有的最先进网格恢复方法，并强调了它们在模拟密切交互场景方面的重大局限性。另外，他们对Harmony4D的预训练HMR2.0模型进行了微调，并在严重遮挡和接触的场景中展示了54.8% PVE的改进性能。
......（全文 1683 字，剩余 1279 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
