研究显示:物理驱动角色动画在VR中仍难达到参考动画质量

PICO 4 Ultra

查看引用/信息源请点击:映维网Nweon

物理驱动角色动画在VR中仍难达到参考动画质量

(映维网Nweon 2026年11月02日)尽管物理驱动角色动画(PBCA)这类技术已可用于虚拟现实,但其生成的动作质量与高质量参考动画之间仍有明显差距。研究人员认为,在生产项目中使用物理驱动控制器应持谨慎态度,并建议在绑定骨骼、带纹理的角色上进行视觉检查,同时结合动画专家评估。

研究显示:物理驱动角色动画在VR中仍难达到参考动画质量

团队关注的问题是:物理驱动控制器能否在VR兼容环境(如Unity3D、WebXR)中生成高质量动作。他们搭建了端到端流程,从FBX动画文件训练控制器策略,并将其部署到Unity3D和WebXR中。训练在GPU上完成,并表示JAX实现可在MuJoCo-MJX中以数分钟完成训练,比传统基于CPU的训练环境快约50倍;推理则在VR兼容环境的CPU上运行。

为评估动画保真度,研究人员采集了八种行走风格,并由专业动画师手动重定向到两个绑定骨骼并带纹理的角色上:一名成年男性和一名女童。随后,他们比较了DeepMimic、AMP和ADD三种物理控制器策略生成的动作与参考动画的差异,并补充了常用的关节误差、位置误差等指标以及新提出的动画保真度指数(afi)。

结果显示,所有受评控制器在Unity3D和WebXR中、全部16种运动上均达到100%存活率。但在动画保真度上,DeepMimic和ADD表现较好,AMP相对较弱;在playground训练流程中,afi排名为DeepMimic优于ADD、ADD优于AMP。团队指出,ADD虽然缩小了与DeepMimic的差距,但在“受伤”这类不对称行走动作中,ADD策略在两个角色上均无法前进。

研究者进一步分析了处理流程各阶段的保真度损失。重定向、从MJX到MuJoCo C的sim2sim迁移、以及从Python环境到Unity3D环境的迁移都会带来损失,但最终实现中sim2sim和引擎迁移的差异已可忽略,主要损失发生在训练阶段。研究人员认为,控制器在训练早期为保持平衡而学会了胸部大幅运动,而这些动作有助于避免摔倒,但并未出现在参考动画中;后续的模仿奖励或对抗奖励未能完全覆盖这些早期学到的动作。

专家视觉检查也支持这一结论。参与重定向和清理动画的专业动画师在对比后发现,即使表现最好的策略也会让胸部移动过多,并连带影响手臂和头部;部分动作还出现向两侧的颠簸、夸张运动、轻微脚滑以及步态不自然等问题。团队指出,这些不准确之处在绑定骨骼并带纹理的角色上更容易被发现,而常用的任务级指标难以捕捉动画师肉眼可见的异常。

研究人员还比较了不同训练流程。modular-agents流程中,DReCon策略的动画保真度优于DeepMimic;而playground流程中训练的DeepMimic与modular-agents中的DeepMimic结果在统计上无显著差异,他们认为更快的GPU训练并未牺牲动画质量。此外,WebXR渲染与Unity3D环境的结果具有可比性,可用于视觉对比。

相关论文:Bringing physics-based controller policies to virtual reality

基于上述结果,团队建议:在需要高质量动画时,应尽量匹配布娃娃与骨架比例,由专业人员手动重定向参考动作,并在绑定骨骼、带纹理的角色上检查控制器输出,而非只查看布娃娃可视化;同时,常用客观指标应辅以动画专家评估。研究者总结说,当前物理控制器策略生成的动作虽能让人识别出参考运动,但仍无法可靠达到参考动画的质量,这一差距难以通过现有训练方式消除,未来需要探索新的训练策略。

本文链接:https://news.nweon.com/143932
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群:苹果Vision  |  Meta Quest  |  AR/VR开发者  |  映维粉丝读者
XR Research Wechat Group/微信群

您可能还喜欢...

资讯