香港大学、加州大学研究用Vision Pro操作远程机器人系统
查看引用/信息源请点击：techxplore
利用Apple Vision Pro来帮助操作员远程操作机器人系统
（映维网Nweon 2024年07月18日）模仿学习可以帮助训练机器人可靠地完成日常任务，比如洗碗或做饭。尽管有潜力，但模仿学习框架依赖于详细的人类演示。
收集相关数据的一种方法是使用远程操作系统，它允许人类映射控制机器人来完成特定任务。然而，大多数现有的远程操作系统都难以有效地处理再现人类执行的复杂和协调的动作。
香港大学和加州大学的研究人员开发了一种名为Bunny-VisionPro的系统，利用Apple Vision Pro来帮助操作员远程操作机器人系统，并完成双手灵巧的操作任务。
值得一提的是，加州大学圣地亚哥分校与麻省理工学院同样开展了类似的研究。
香港大学和加州大学的团队表示：“我们这项研究的灵感来自于推动机器人双手灵巧远程操作的需求。我们认识到，现有的基于视觉的远程操作系统很少关注双手控制，而这对于需要手部协调的复杂任务至关重要。”
所以，研究人员希望开发一种通用的远程操作系统，从而支持不同类型的机器人和任务，并大大简化训练机器人控制算法的演示集合。
他们开发的系统名为Bunny-VisionPro。利用Apple Vision Pro，远程操作和演示数据的收集就如同1：1映射般直观和身临其境。
他们解释道：“Bunny-VisionPro是一种创新的远程操作系统，允许人类操作员实时控制双机械臂和多指手。它能够实现高质量的示范收集，并能够促进模仿学习。”
团队打造的系统轻便便携。当用户远程操作这个设备时，他们同样会收到相关的视觉和触觉反馈，从而大大提高了体验的沉浸感。
在最初的测试中，结果显示Bunny-VisionPro系统能够实时、低延迟地安全控制机器人机械手，同时能防止与附近物体发生碰撞。值得注意的是，所述系统易于安装和部署，使其成为机器人实验室收集演示的有希望的解决方案。
Bunny-VisionPro有三个关键组件：一个手臂运动控制模块，一个手和运动重定向模块和一个触觉反馈模块。
他们解释道：“手臂运动控制模块将手腕姿势重新定位到机器人的末端执行器姿势。手部和运动重定向模块将人手姿势映射到机器人手姿势，包括对环关节结构的支持。最后，触觉反馈模块通过算法和硬件设计将机器人的触觉感知转化为人类的触觉反馈。”
这种全新远程操作系统的主要优点是它可以实时安全控制手动机器人系统。与过去推出的其他几种解决方案相比，它同时集成了触觉和视觉反馈，这使得体验对人类用户来说更加身临其境，同时提高了系统的远程操作成功率。
相关论文：Bunny-VisionPro: Real-Time Bimanual Dexterous Teleoperation for Imitation Learning
在接下来的研究中，团队计划通过利用机器人的触觉信息来进一步提高操作能力，以获得更好的精度和适应性。系统代码开源，可以通过GitHub访问。
