伦敦大学学院开发基于高斯飞溅的VR机器人远程操作系统
机器人+VR
（映维网Nweon 2025年08月04日）机器人领域已经开始利用虚拟现实来提高远程操作系统的精度和沉浸感，而这显著优于依赖2D摄像头输入和操纵杆控制的传统方法。尽管取得了进步，但挑战依然存在，特别是在不同设置的用户体验方面。
在一项研究中，伦敦大学学院团队介绍了一种基于虚拟现实技术的移动平台机器人远程操作框架。相关方法的核心是应用高斯飞溅，从而实现更直观和身临其境的交互。其中，用户可以在虚拟场景中导航和操作，就像与真实的机器人互动一样，以提高远程操作任务的参与度和效率。
广泛的用户研究验证了所提出方法，展示了显著的可用性和效率改进。三分之二（66%）的被试可以更快地完成任务，平均减少了43%的时间。另外，93%的受访者总体上更喜欢高斯飞溅接口，并一致（100%）推荐未来使用，突出了精度、响应能力和态势感知方面的改进。最后，团队通过两个不同应用场景的真实世界实验证明了框架的有效性，展示了基于高斯飞溅的VR界面的实用功能和多功能性。
机器人远程操作系统的进步是人类能力扩展到远程或危险环境的核心。传统的远程操作界面通常只依赖于基于操纵杆的控制和来自摄像头的视觉反馈，而两者都有固有的局限性，会降低精度和沉浸感。尽管虚拟现实和增强现实在机器人远程操作环境中的应用取得了重大进展，但依然有大量未开发的潜力可以进一步增强系统。
有数个框架旨在解决机器人局部操作任务的各个方面，并定义为在环境中移动并与场景中存在的对象动态交互的能力。然而，相关框架往往缺乏与先进的VR技术的全面集成。为了弥补这一差距，伦敦大学学院团队引入了一个专门为局部操作任务设计的全面框架。
具体来说，他们介绍了一种新的远程操作框架，通过结合先进的VR与高斯飞溅来提高任务的精度和效率。与依赖视觉反馈的传统VR界面不同，所提出方法利用（但不限于）高斯飞溅来创建远程环境的高保真度。这种渲染技术不仅提供了更深的空间一致性，而且允许操作员能够在VR环境中自由调整他们的视点，极大地帮助了需要精确操作的任务。
框架采用双阶段策略：初始导航使用带有运动视觉反馈的传统控制界面，然后是VR环境中的详细操作任务，如图1所示。在这里，操作员可以直接操纵机器人手臂的虚拟表示，允许直观的控制，因为他们只需在VR空间中拖动模型。这种方法增强了操作者的临场感和参与感，提高了远程操作的精度。结果在用户研究中得到量化，测试了VR界面的有效性和直观性。将界面与简单的基线进行比较，在复杂的视觉障碍场景中通过拾取和放置任务展示了所提出系统的优势。
框架以两种不同的模式运行：运动阶段和操作阶段（见图2）。最初，系统在运动阶段发挥作用，其中人类操作员使用远程操作界面控制机器人。在这种模式下，操作员利用机器人的视频馈送，结合VR控制器，将机器人导航到所需的操作地点。一旦机器人到达目标位置，操作员开始操作阶段，在此期间可以通过VR界面远程操作机械臂。
为了实现这一点，生成高斯飞溅以创建VR环境中操作场景的精确副本，以及机械手的对齐模型。这为用户提供了一个完全身临其境的VR表示，方便用户与现实世界的互动。
虚拟现实界面操作人员通过虚拟现实界面与系统进行交互。主要控制机制由操纵杆输入组成，用于在操作阶段之间切换，并指挥机器人和机械手。相位切换是通过操纵杆的物理输入来控制，而不是在VR环境中，这可以确保用户在虚拟空间中的动作不会无意中干扰系统的相位转换。
高斯飞溅是作为Unity场景中的视觉效果实现。由于高斯散射是点云的神经渲染，它自然适合通过基于节点的粒子系统（如Unity的VFX图形）来实现。Unity引擎通过机器人操作系统（ROS）与机器人和操作手进行通信。机器人的机载计算机拥有一个TCP端点，所有来自Unity的ROS通信都通过所述端点路由。
在运动阶段，操纵杆指令通过ROS发布，同时实时订阅来自机器人的视频流。在操作阶段，采用反馈回路通过虚拟现实接口对机械手进行控制。当操作者移动末端执行器的VR表示时，相应的笛卡尔坐标通过ROS传递给机械手控制器，命令现实世界的机械手到达新的位置。同时，更新后的关节角度传回Unity，使其能够调整机械手的VR模型，以反映物理机器人的运动。界面适用于各种机器人平台。高斯飞溅过程不受用于数据收集的特定操纵器的影响，使系统适应新的机器人或机械手通常只需要微小的调整，例如修改Unity中的ROS主题名称和机器人的机载系统，并将新的机械手模型导入Unity场景即可。大多数常用的机器人都有预先存在的URDF模型，并且在远程操作过程中需要调整的关节角度的数量可以很容易地配置。
机器人向接口发送图像流，并向其发送位置命令。通过这种方式，人类操作员在通过2D视频流导航时控制基础运动。2D视频投射到虚拟现实中固定位置的屏幕，以最大限度地减少由于操作员的视场缩小而导致的晕动症。机器人本身使用一个控制器来确保稳定的运动。
为了通用性，无论移动类型如何，都假设可以通过提供笛卡尔速度命令来指挥移动机器人。控制器以（Vx, Vy）的形式从接口接收简单的速度命令。为了将框架切换到操作阶段，框架必须首先生成一个高斯飞溅来放置在VR环境中，如图3所示。这本身分三个阶段完成。首先，机械手移动到一系列预先规划的位置，以获得场景的重叠图像。接下来，图像用作运动结构（SfM）的输入来检测特征，估计camera姿势，并使用三角测量来计算3D点，然后进行束调整以进行细化。最后，对高斯飞溅本身进行训练，使用神经渲染生成可用于VR遥操作的3D模型。
场景表示为一组高斯分布，每个分布都有位置、大小、方向和颜色。高斯函数由它们的平均值（在三维空间中的位置）、协方差矩阵（定义它们的形状和分布）、以及颜色和不透明度等属性参数化。在渲染过程中，每个高斯投影到二维图像平面作为一个椭圆的“splat”。splat组合起来形成最终的渲染图像。
一旦高斯飞溅产生，系统就进入操作阶段。这时，启动了一个反馈回路，其中人类操作员在VR环境中控制机械手的末端执行器的运动。团队在开发过程中考虑了多种远程操作控制策略。一系列现有的系统将控制器连接到一个固定在操作员的第一人称视角内或附近的参考框架。然而，这种方法限制了操作员充分利用VR环境的沉浸式功能的能力，因为它限制了移动和视场。相比之下，团队提出的框架采用了类似游戏的界面，机器人手臂的3D重建和操作场景直接定位在操作者的面前。操作员可以在VR环境中自由地围绕这个3D重建进行导航，并通过“抓取”末端致动器并“拖动”它来移动现实世界的机械手来与它进行交互。摄像头视图叠加在VR视图，所以用户依然可以通过静态3D重建在远程操作期间看到现实世界场景的变化。
相关论文：Immersive Teleoperation Framework for Locomanipulation Tasks
总的来说，团队为基础机械手机器人系统引入了一个VR远程操作框架，并利用高斯飞溅来增强用户界面的沉浸感，同时保持可用性和可扩展性。研究人员发现，高斯飞溅可以通过仅使用安装在机械手的RGB摄像头产生高质量的3D模型，从而显著提高沉浸感（但这是以增加生成时间为代价）。高斯飞溅的应用补充了所提出的远程操作界面，并利用机械手和场景的第三人称视图增强了框架的沉浸式体验。未来的研究将包括绕过运动结构来提高3D模型生成的速度，集成动态高斯飞溅，并通过将其适应其他平台来彻底测试框架的可扩展性。
