美国加州大学团队提出双虚拟空间设计优化XR远程操作延迟
对于所有三个轨迹，端到端延迟分别减少了89%，88%和83%
（映维网Nweon 2025年02月26日）与传统的2D控制相比，扩展现实为远程操作机器人提供了一种更直观的交互方法。近来的研究已经为使用XR进行远程操作奠定了基础，但由于用户运动和代理反馈之间的大延迟，它在需要快速运动和精确操作的任务中失败了。
在一项研究中，美国加州大学团队分析了最先进的XR远程操作系统中的端到端延迟，并提出通过实现双虚拟空间设计和在用户端虚拟空间中定位代理和对象，同时使用来自代理端虚拟空间的周期性ground-truth姿势进行校准来优化延迟。
尽管基于XR的现有远程机器人操作系统可以实现基本的可用性，但由于物体的快速移动或精确操作要求，诸如抛球和接球、系鞋带和追踪直线等任务依然无法实现。这是由于用户动作与虚拟空间中代理的视觉反馈之间的高延迟影响。
为了分析延迟，美国加州大学团队在同一建筑物的两个不同的网络段进行了实验。他们使用ROS Reality框架进行所有数据通信，并记录用户姿势的信息，当帧提交给头戴式显示器时，信息会导致端到端延迟。用户在XR中观察到用户运动所调用变换的反馈可视化通常需要1.2秒以上。这种高延迟导致用户-代理的运动不匹配，使得用户根据代理的旧姿势进行调整，从而导致错误的调整。
团队发现，延迟的主要部分是由于网络传输。由于数据必须遭受双向网络延迟，延迟可能高达1秒。根据这一观察，他们认为与姿势准确性相比，智能体姿势的及时更新更为重要。所以，研究人员选择双虚拟空间设计，其目的是通过直接在XR运行的本地化方法来避免网络延迟。
由于XR和代理配备了类似的定位传感器，如IMU和CAM， XR可以为用户侧虚拟空间内的代理和物体建立模型，利用模型预测姿态，并直接使用XR传感器定位姿态。
代理保留第二个虚拟空间，其中包含来自XR的原始用户姿态、代理和直接从代理传感器捕获的对象姿态，并将其用作真实状态。代理定期回送姿态，在用户侧虚拟空间中进行状态校准，这减少了由于预测而产生的位置误差。
然后，对先前实验中使用的现有框架进行更改，并记录端到端延迟。他们发现，对于所有三个轨迹，端到端延迟分别减少了89%，88%和83%。
但团队坦诚，所述方法在将每次校准的ground truth姿态与预测姿态合并时面临明显的姿态漂移。如果预测没有针对下一状态的平滑过渡进行优化，则与优化预测的位姿欧几里德距离∆d1相比，将产生较大的欧几里德距离∆d2。所以，解决这个问题是他们正在进行的工作。
相关论文：Toward a Predictive eXtended Reality Teleoperation System with Duo-Virtual Spaces
总的来说，美国加州大学团队正在设计一种针对现有XR远程操作的新系统，目标是减少XR与代理之间的大网络延迟。他们分析了端到端延迟，并提供了一个案例研究来证明新设计的有效性。团队计划继续进一步探索挑战以完成这个框架，并在各种网络和场景条件下进行广泛的实验。
