康奈尔大学研究用声波+AI 对用户上半身进行3D动捕追踪

小编刘卫华 | 分类：论文 | 2023年11月24日

加入映维网会员

利用人类不可听的声波和人工智能来对用户的上半身运动进行3D追踪

（映维网Nweon 2023年11月24日）康奈尔大学的未来交互智能计算机接口实验室早前发布了PoseSonic。这款眼镜形态的设备搭载了微型声纳技术，能够利用人类不可听的声波和人工智能来对用户的上半身运动进行3D追踪。

研究人员特别指出，眼镜形态的PoseSonic未来有望用于增强现实和虚拟现实。

康奈尔大学的赛义夫·马哈茂德（Saif Mahmud）对PoseSonic在自然环境中检测细粒度人类活动的潜在应用感到兴奋。

在名为《PoseSonic: 3D Upper Body Pose Estimation Through Egocentric Acoustic Sensing on Smartglasses（通过智能眼镜的自中心声学传感进行3D上半身姿势估计）》的研究中，团队强调了他们研究小组方法的开创性，亦即可穿戴设备通过人类不可听的声学和人工智能来追踪身体姿势。

PoseSonic是一种用于智能眼镜的智能声学传感解决方案，并可用于估计上半身姿势。所述系统只需要在眼镜铰链安装两对麦克风和扬声器，就可以发出fmcw编码的不可听声音信号，并接收反射信号以用于估计身体姿势。

设备使用定制的深度学习模型来估计9个身体关节的3D位置，包括肩膀、肘部、手腕、臀部和鼻子。团队采用一种跨模态监督策略来训练模型，并使用同步的RGB视频帧作为ground truth。值得注意的是，PoseSonic可以在不需要初始训练的情况下有效地运行。

研究人员对22名参与者进行了实验室和半野外用户研究来评估PoseSonic。在预测9个身体关节的3D位置时，模型在实验室环境下的平均关节位置误差为6.17 cm，在半野外环境下的平均关节位置误差为14.12 cm。进一步的研究表明，不同的环境或真实环境噪声对性能没有显著影响。

团队解释道：“通过将尖端的人工智能集成到低功耗、低成本和注重隐私的声学传感系统中，我们在身体上使用的仪器更少，更实用，而且电池性能在日常使用中同样明显更好。”

他们进一步补充道，PoseSonic代表了当前可穿戴设备的显著进步，因为目前的可穿戴设备通常依赖于微型摄像头，存在潜在的不实用性和隐私问题。

研究人员报告道，相关技术能够以最小的功耗运行，大约是可穿戴摄像头的十分之一。另外，与可穿戴式摄像头相比，声纳技术减少了对隐私的担忧。