研究员分享基于VR的远程机器人控制与自适应导航技术

小编刘卫华 | 分类：论文 | 2024年12月30日

加入映维网会员

在丢失连接的情况下顺利过渡到自主模式

（映维网Nweon 2024年12月30日）在战争，运输，灾难等一系列不同的场景，通过VR远程控制机器人都有重要的应用。但有限的无限连接是一个问题。在一项研究中，芬兰奥卢大学提出了一种在有限无线连接下增强人机交互的解决方案，目标是支持通过虚拟现实远程控制机器人，并确保在丢失连接的情况下顺利过渡到自主模式。

其中，虚拟现实界面可以提供一个动态的3D虚拟地图，并使用机器人收集和传输的实时传感器数据进行持续更新。另外，机器人可以监控无线连接，并在连接受限的情况下自动切换到自主模式。通过集成四个关键功能：实时地图、VR头显远程控制、无线连接的持续监控和有限连接下的自主导航，团队实现了无缝的端到端操作。

在半自主机器人领域，解决在有限连接环境中进行高效导航和操作的重大挑战势在必行。提供用户友好的体验，以控制机器人在各种环境中操作涉及控制系统，通信网络和计算服务器的集成。在这种情况下，芬兰奥卢大学考虑了一种具有有限无线连接的远程控制设置，其中人类操作员使用VR界面控制机器人。

然而，由于无线连接的随机性，传感和控制环节可能会偶尔丢失，机器人在VR空间中的导航任务和相应的实时更新可能会中断。

在研究中，团队展示了人类操作员在动态环境中对机器人的远程操作。操作人员使用的VR界面包括实时更新的3D地图。如果机器人导航过程中失去了与操作员之间的连接，机器人将自动识别连接问题。之后，机器人处理机载传感器数据，熟练地导航到最后一个已知目的地，同时安全避开障碍物，直到连接恢复。

研究人员使用Waveshare JetBot机器人操作系统人工智能套件作为移动机器人。它配备了2D LiDAR传感器、惯性测量单元传感器和电机编码器传感器。激光雷达模型为RPLiDAR A1，扫描频率为5.5 Hz，距离为0.15 ~ 12 m，距离小于3 m时精度为1%，每次扫描包含1147个采样点。

设置使用两个服务器，分别称为Sα和Sβ，如图所示。服务器Sα提供对机器人的远程访问，因此仅用于监视和可视化机器人的视角。在服务器Sα，使用由ROS构建的工具RViz来可视化机器人的导航和传感器数据。另外，Varjo VR-1作为操作员的头显按设备。

为了支持通信，必须适当地将ROS topic转换为与Unity ROS兼容的自定义消息。机器人利用ROS的发布-订阅框架与服务器Sα和Sβ通信，进行数据交换。发布的数据包括有关障碍物位置、路径规划信息、实时视频馈送和机器人里程表读数的信息。

数据以自定义ROS消息格式发送到远程服务器Sβ。为了方便数据传输，研究人员在服务器Sβ使用了Unity ROS传输控制协议（TCP）连接。

演示由四个关键的软件解决方案组成：

创建用于导航的2D地图
通过VR头显进行远程控制
检测机器人与服务器的连接状态
自主导航。

为了给操作人员提供更好的体验，并能够在远程连接可能丢失的情况下自主导航，生成其操作环境的地图至关重要。所以，团队实现了一种能够适应环境动态变化的SLAM技术。SLAM在机器人和自主系统领域发挥着核心作用。

测试区域包含几个障碍物，当机器人在测试区域周围移动时，SLAM使用2D激光雷达数据创建环境地图。可以使用Sα可视化2D地图的创建。

对于远程控制模式，研究人员将使用VR头显远程操纵机器人前往指定目的地。操作人员在创建的2D地图中设置目的地。在3D虚拟地图中，利用接收到的物理机器人的测程数据，不断更新虚拟机器人的位置和方向。同时，激光雷达数据提供了对Sβ测试区域内障碍物的洞察。

尽管Sβ不具备物体识别能力，但通过VR界面向人类操作员提供障碍物信息以进行远程控制至关重要。在这个视图中，障碍物在虚拟地图中被可视化为棕色的墙段，在3D地图和VR头显视图中实时更新。

为了验证实时可视化的准确性，机器人的实时视频馈送也被投影到VR视图。值得强调的是，实时远程控制和虚拟地图更新是基于机器人与Sβ之间的无线连接。在失去连接时，感知和控制都会失败，所以导航过程中断。

为了确保无缝操作，必须设计检测连接丢失的机制，并能够从远程控制切换到自主模式（反之亦然）。

为了确定机器人与服务器Sβ之间的连接质量，机器人定期以0.1s的间隔直接向已知的Sβ的互联网协议地址发送ping命令。如果来自服务器Sβ的响应码为0，则表示连接状态良好，否则表示连接差或没有连接。只要连接状态良好，机器人以遥控方式操作，并由热那里操作人员操作。在任何其他情况下，机器人从遥控模式切换到自主模式。

当检测到机器人与s - β之间的连接丢失时，机器人使用/move_base_simple/goal rostopic中的geometry_msgs/PoseStamped ROS消息类型发布目标位置数据，以启用自主导航功能。值得强调的是，激光雷达传感器可以感知环境中发生的任何实时变化，所以OGM和成本图可以同时更新。