韩国研究团队开发ForceGrip系统实现VR手部操作的动态握力控制

小编 ovaliu | 分类：论文 | 发布日期 2025年6月24日

加入映维网会员

这个深度学习代理可以将VR控制器输入转换为真实的握力动态

（映维网Nweon 2025年06月24日）逼真的手部操作是沉浸式虚拟现实的关键组成，但现有的方法通常依赖于运动学方法或动捕数据集，忽略了关键的物理属性，如接触力和手指扭矩。在一项研究中，韩国庆熙大学和高丽大学团队提出了ForceGrip。这个深度学习代理综合了真实的手部操作动作，并忠实地反映了用户的握力意图。

ForceGrip不是模仿预定义的运动数据集，而是使用生成的训练场景来挑战具有广泛物理交互的智能体。为了有效地从复杂的任务中学习，研究人员采用了一个由手指定位、意图适应和动态稳定组成的三阶段学习框架。这种渐进式策略确保了稳定的手物接触，基于用户输入的自适应力控制，以及动态条件下的鲁棒处理。另外，接近奖励功能可以增强自然手指运动和加速训练收敛。

定量和定性评估表明，与最先进的方法相比，ForceGrip具有优越的力量可控性和合理性。

沉浸式手部交互对于引人入胜的虚拟现实体验至关重要，可支持用户自然地掌握和操纵物体。尽管基于控制器的界面（不依赖手部追踪）由于其可访问性、可用性和响应性而变得普遍，但大多数现有解决方案都忽略了对握力的细微控制。相反，他们强调视觉可信的手部动作，并依赖于简单的二进制触发输入。

这种差距破坏了逼真交互的一个关键维度：在物理环境中，用户不断调整他们的握力，以适应物体重量、脆弱性和摩擦的差异，允许物体在不同的力水平下滑动，或者在需要时保持牢固。将所述细微差别转化为VR村咋相当大的挑战，因为传统的数据集和动捕技术很少包含详细的物理属性，如接触力或手指扭矩。

因此，提供涉及各种物理需求的不同场景并确保复杂场景能够有效学习至关重要。为了解决这一差距，韩国庆熙大学和高丽大学团队引入了ForceGrip。这个深度学习代理可以将VR控制器输入转换为真实的握力动态。ForceGrip不是模仿静态动捕，而是从随机生成的场景中学习。所提出的学习框架通过三个阶段系统地增加复杂性：手指定位，意图适应和动态稳定。他们进一步结合了基于接近度的奖励来引导自然的指尖接触，从而加速训练和培养自然的手指运动，而不模仿参考运动数据。

图1描述了训练管道。团队使用Unity和NVIDIA PhysX进行实时物理，以120hz的频率更新，而学习代理以30hz的频率运行。每个时间步𝑡，智能体输出手指关节的扭矩，比例导数（PD）控制器将其转换为手部姿势，并在𝑡+1时刻驱动对象交互。在训练期间，手腕遵循预设的运动路径，而在实际使用中，它遵循VR控制器的运动。

团队不再依赖动捕数据，而是生成包含不同物体形状、用户输入和手腕动作的不同场景。然而，这种可变性增加了学习的复杂性。为了解决这个问题，团队将训练划分为更简单的任务，然后逐步增加动态条件。

为了训练代理，利用强化学习，并使用近端策略优化（PPO）。团队采用早期终止，如果物体移动距离手腕超过10厘米，就停止一个事件，避免在不可恢复状态浪费计算。这一机制提高了效率，防止了虚假奖励，最终带来了更稳定的政策。

为了学习各种握持条件，使用三种原始物体形状：球体、立方体和圆柱体，每一种物体的质量都是0.01 kg。由于投掷物体会导致提前终止，即使这个力与目标力不匹配，受过训练的智能体都倾向于施加过大的力来避免掉落。为了防止这种不匹配，通过使用轻量级对象来减轻质量的影响。

为了研究训练进展，团队测量了每个过程和消融设置的每个时期的奖励。不从P1 （C4， C5和C6）开始的过程表现出明显较低的回报。这个结果强调在引入额外的复杂性之前学习稳定的手指接触。另外，团队提出提出的方法（C1）获得了最高的总体回报。

为了进行更深入的分析，团队收集了数据，并测量了三个关键指标。尽管C4、C5和C6保持相对可接受的ESR和PR评分，但其较低的FR评分表明，当早期引入高级随机化时，在管理力控制方面存在困难。相比之下，C2和C3产生中等的ESR，但总体稳定性低于C1。去除邻近奖励（PR ×）会显著降低性能，特别是在ESR和PR方面，但同时会影响FR。尽管去除编码器层（EL ×）可以获得更高的ESR和PR，但同时降低了FR评分。这一结果表明，网络缺乏基于编码器的特征提取，难以纳入关键的低维输入（例如𝑢∈r6），导致智能体采用过于有力的握力，而不是提高握力精度。

总体而言，结果证实，团队提高了成功率和把握真实感。烧蚀研究强调了设计选择的影响，如接近奖励和编码器层对精确的握力控制。