MIT和UCSD开发基于Vision Pro的机器人远程控制系统

查看引用/信息源请点击：techxplore

实现身临其境的远程机器人控制体验

（映维网Nweon 2024年07月16日）来自麻省理工学院（MIT）和加州大学圣地亚哥分校（UCSD）的专家团队基于Apple Vision Pro开发了一种名为“Open-TeleVision”的新型遥控器，从而实现了1：1的机器人远程控制。

对于机器人，提供精确对应的输入数据进行训练非常重要。所以从特斯拉到英伟达，业界正在积极利用虚拟现实的力量来帮助训练机器人。通过利用VR，人型机器人可以1：1地复刻映射人类操作员的动作，而软件可以以实现第一人称视频的实时传输和精确控制输出，同时保持极低延迟。

延伸阅读：特斯拉用VR训练Optimus机器人学习人类操作

在研究中，麻省理工学院和加州大学圣地亚哥分校的团队同样在尝试类似的体验，通过向操作员提供Apple Vision Pro来实现身临其境的远程机器人控制体验。

利用Open-TeleVision系统，操作人员可以通过机器人的“眼睛”来以第一人称视角来感知环境，并能够1：1对应地操作机器人的头，手臂和手指等。

不需要在手臂和手指佩戴传感器，团队采用了类似于Kinect系统的远程传感器来捕获用户四肢的运动。利用这种方式，机器人可以1：1地模拟人类操作员的动作，并执行诸如捡球并把球放进杯子里的活动等。

相关论文：Open-TeleVision: Teleoperation with Immersive Active Visual Feedback

研究小组在实验中展示了系统的实用性。他们表示，经过进一步的改进后，基于Open-TeleVision的系统未来可以用于远程手术、危险地区的搜索救援工作，甚至是探索其他星球。