fARfetch：融合共享语义与VLM自适应的远距离AR人机协作系统
融合共享语义与VLM自适应
（映维网Nweon 2026年07月06日）增强现实技术正逐步在人机协作中发挥重要作用，尤其是在需要用户与机器人协同完成任务的场景下。然而，在户外或大型空间中进行机器人控制时，距离过远或视线遮挡常常导致虚拟内容难以辨认，操作也缺乏有效的环境参照。
针对这一问题，研究人员提出了fARfetch系统，通过AR头显与机器人之间的共享感知，构建带有语义标签的环境地图，并引入可自适应调整虚拟内容显示的方法，提升远距离和复杂背景下的操作体验。实际用户测试表明，系统在任务效率和主观使用感受方面均较传统方式有明显改善。
随着增强现实技术的快速发展，人机协作的方式正在变得更加灵活和高效。AR虚拟叠加层可用于传达机器人的状态和意图，使用户能够更直观地与机器人互动。除了单向信息传递，AR同时支持双向交互，使得用户可以对机器人进行现场控制，广泛应用于无人机、四足机器人等多种平台。用户可以操作虚拟内容或指引机器人走向现实世界中的地标，甚至可以编辑路径或设定行为序列。
但在大型环境中，虚拟控制内容的放置和操作难度显著增加。当机器人距离用户较远时，AR头戴式显示器中的虚拟内容分辨率降低，用户对远处虚拟物体的深度、尺度和相对位置的感知能力也会下降。为此，研究者提出了“世界缩微”界面，用于支持在室外等大型空间中进行机器人控制。但现有WIM界面在用户的视觉视线被遮挡时效果不佳，因为这类界面通常只提供简单的结构地图，缺乏清晰的环境语义信息。此外，用户无法编辑机器人的行进路径，也难以根据环境地标进行精确导航。
为解决上述问题，一支研究团队开发了fARfetch。系统基于Meta Quest 3平台，旨在支持在视觉多样的大型环境中进行协同人机协作，即使机器人不在用户视线范围内也能有效工作。fARfetch通过整合AR头显和机器人各自的感知数据，构建带有语义标签的共享环境地图。这些语义地标既会显示在真实环境的AR视图中，也会出现在3D世界缩微模型里。用户可以利用这些地标发出具有实际意义的指令，例如前往某个特定物体或绕过障碍物，也可以在较大范围内编辑精细的路径。系统还能将编辑好的路径在现实世界对应位置进行可视化，保持微型模型与物理环境之间的一致联系。
除了控制功能，fARfetch还特别关注虚拟内容的可读性。在大型环境中，虚拟内容的清晰程度受用户距离、视角和背景复杂度等因素影响，在户外动态背景下尤为明显。为此，系统引入了一种基于视觉语言模型的视图管理方法，能够根据周围场景实时调整虚拟内容的颜色、大小和方向，从而提升内容在不同环境条件下的可读性。
研究团队在一项真实世界的用户研究中评估了fARfetch系统。13名参与者佩戴Meta Quest 3头显，在户外环境中与Unitree Go2四足机器人协作完成一项模拟检查任务。与非AR的基线条件相比，使用fARfetch的参与者任务完成时间平均快了66%，并且在脑力需求、时间压力和挫败感等主观负荷评分上显著降低。关于虚拟内容的可读性，大多数参与者对系统在颜色、大小和方向上的自适应效果给出了积极评价。
综上所述，fARfetch通过结合共享语义感知、世界缩微界面和VLM驱动的自适应显示管理，在大规模、视觉复杂的环境中实现了更高效、更直观的人机协作。尽管当前研究在样本量、任务类型和组件独立评估方面存在一定局限，但该系统展示了AR技术在提升现实世界中人与机器人协作能力方面的潜力。未来工作可进一步探索更广泛的任务场景和更深入的系统优化。
