中外团队分享面向复杂场景的端到端多手实时三维定位与重建方法

查看引用/信息源请点击:映维网Nweon

在效率和准确性方面都优于以前的方法

映维网Nweon 2025年02月21日)近年来,三维手姿估计方法在虚拟现实等领域的广泛应用引起了人们的广泛关注。相比之下,手部检测管道存在明显的空白,而这对构建有效的多手重建系统提出了重大挑战。

在一项研究中,英国帝国理工学院和上海交通大学团队提出了一种数据驱动的管道,以用于in-the-wild高效的多手重建。所述管道由两个部分组成:实时全卷积手部定位和高保真transformer-based三维手部重建模型。为了解决以往方法的局限性并建立一个鲁棒且稳定的检测网络,团队引入了一个大型数据集,其中包含超过2M张具有不同照明,照明和遮挡条件的in-the-wild手部图像。

在流行的2D和3D基准测试中,所提出方法在效率和准确性方面都优于以前的方法。

从虚拟现实到人类行为识别,手部检测和重建具有广泛的应用,并一直是一个长期研究的问题。鉴于手部外观和清晰度的巨大变化,以及手部交互中通常存在的严重遮挡和运动模糊,手部姿势估计的任务相当具有挑战性。多年来,业界已经提出了数种方法来处理3D手部姿势估计。

然而,尽管产生了可信的结果,但它们主要集中在包含固定数量的手的图像,不能泛化到in-the-wild图像。在与三维人体和人脸重建密切相关的领域,最先进的方法采用基于高性能检测模型的自下而上管道,模型最初将人体和人脸定位在图像内,使其能够泛化到in-the-wild图像。尽管已经提出了一系列的方法来解决人体和人脸检测的任务,但在实时手部检测方法方面却明显缺乏。

......(全文 1258 字,剩余 699 字)


请微信扫码通过小程序阅读完整文章
或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限

本文链接https://news.nweon.com/127900
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群苹果Vision  |  Meta Quest  |  微软HoloLens  |  AR/VR开发者  |  映维粉丝读者
资讯