VR触觉远程操控在无视觉输入下实现80％成功率物体抓取
整合触觉技术可用于支持以前单纯依赖于摄像头的远程操作任务，从而为未来更复杂的应用铺平道路
（映维网Nweon 2025年05月06日）基于VR头显的机器人远程操作正广泛地应用于一系列领域。在一项研究中，伦敦玛丽女王大学，Humanoid AI和伦敦国王学院团队利用VR头显和基于触觉的3D对象重建来向蒙眼用户提供触觉反馈，并证明了即便没有摄像头都能精确执行拾取和放置等远程操作。
初步结果表明，整合触觉技术可用于支持以前单纯依赖于摄像头的远程操作任务，从而为未来更复杂的应用铺平道路。
基于VR的机器人远程操作允许人类操作员远程控制机器人系统，并完成危险的或复杂的任务。另外，当前的机器人自主操作方面存在不足，而通过示范学习将人类技能转移到机器人是有用的。对于这一点，业界已经把目光投向VR虚拟现实。
大多数远程操作操作依赖于基于视觉的系统，通过摄像头视图来支持不同复杂程度的操作。然而，这样的系统并非万无一失，恶劣的视觉条件，如光线不足、阴影、雾霾、烟雾、辐射，甚至是肮脏或损坏的透镜都限制了它们的可靠性。
触觉传感可以解决一定的问题，因为它可以提供仅凭视觉无法轻易估计的属性测量，例如，操纵物体表面的重量或纹理信息。同时，它们可以用来重建对象的3D形状，然后可以使用VR或AR技术进行显示。
触觉传感可用于向人类操作员提供触觉和力反馈，从而获得能够提供沉浸式触觉体验的双边遥控机器人系统。
为了解决目前的研究差距和完全“失明”远程操作带来的重大需求，伦敦玛丽女王大学，Humanoid AI和伦敦国王学院团队将视觉虚拟现实集成到我远程机器人装置中。
采用的双侧遥操作系统完全依靠机械手的触觉感应，省去了视觉传感器。系统为人类用户提供关键的触觉反馈，并促进准确的对象操作。另外，团队开发了一个极简的虚拟环境，在3D物体重建和操作任务中实时可视化机械臂。
系统仅利用触觉传感器和高斯过程（GP），将被操纵对象形状的实时部分3D重建流传输到VR头显，同时渲染被操纵对象的触觉体验，从而增强沉浸感并减少疲劳。这一目标旨在减轻与盲遥操作相关的挑战。
实验证明，具有视觉监督远程操作经验的人类操作员可以在触觉反馈和VR视觉表现的支持下准确地执行盲取和盲放等任务。
研究人员进行了90次试验，每天两次，间隔一个月，以评估长期学习趋势，而他们主要观察到失败尝试的减少，并减轻了操作员因认知和环境条件而产生的偏见。实验涉及到三种不同形状的矩形物体。
总的来说，方法达到了80%的成功率，在90次试验中有18次失败。另外，第一次每日会话的执行成功率为71.11%，第二次每日会话的执行成功率为88.89%，两者之间的执行性能有所提高。在同一实验日内，定位和定向误差没有明确的学习曲线迹象。
另外，疲劳对工作表现和完成任务的确切影响难以确定，而尝试失败次数的显著减少表明操作对象的改进趋势。
同时，研究人员观察到的方向精度显着提高，平均误差从9.63◦降至5.39◦。这种改进可以归因于用户对对象-任务关系的更深入理解。
值得一提的是，拾取放置任务的完成时间在不同的测试场景和物体配置中变化最小，所有成功试验的完成时间都在15秒到20秒之间。总之，实验结果表明，对象的几何特征显著影响拾取放置实验的成功率。大体而言，所有对象的平均位置误差和方向误差分别小于3 cm和6°。
总的来说，团队认为仅使用触觉反馈而无需视觉输入来远程操作机器人的能力对解决基于视觉解决方案容易失败的场景至关重要，例如低光或低能见度条件。
在研究中，研究人员证明了集成不同的远程操作技术可以在不依赖摄像头的情况下执行简单的拾取和放置任务。具体来说，他们开发了一个远程机器人装置，包括一个VR头显以确保在无监督操作期间的安全，一个VR环境，以及一个基于局部触觉信息重建对象的模型。
在未来的工作中，团队计划开发一个更加身临其境的VR环境，以提高三维和深度感知，从而更有效地重建复杂的运动物体。
