Meta联合多所高校研发全身运动预测模型RPM
在追踪输入丢失后依然可以产生平滑过渡
（映维网Nweon 2025年07月18日）在扩展现实中，生成用户的全身运动对于理解他们的行为，驱动虚拟化身进行社交互动，并传达真实临场感非常重要。现在越来越多的XR应用选择基于视觉的手部追踪，以减少用户摩擦和更好的沉浸感。与控制器相比，手部追踪信号不太准确，甚至可能在长时间后丢失。
为了处理这种不可靠的输入，Meta，巴塞罗那大学，Computer Vision Center和伦敦国王学院团队提出了滚动预测模型（RPM）。这种在线和实时方法可以从时间和空间稀疏的输入信号中生成平滑的全身运动。模型可以生成与输入匹配的精确运动和当输入缺失时可信的运动。
更重要的是，RPM生成从追踪到合成的无缝转换，反之亦然。为了证明处理噪点和缺失输入的实际重要性，研究人员又提出了GORP，这是一个来自商业虚拟现实头显的真实稀疏输入数据集，具有成对的高质量身体运动ground truth值。GORP提供了28个人使用控制器（空间稀疏）和手部追踪（空间和时间稀疏）的14小时VR游戏数据。团队在合成数据和GORP对RPM进行了基准测试，以突出如何通过处理不可靠的输入信号，用真实的数据集弥合现实应用程序的差距。
......（全文 2415 字，剩余 1985 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
