Meta与佐治亚理工学院合作利用VR/AR技术训练机器人
利用Project Aria眼镜来帮助训练机器人执行基本的日常任务
（映维网Nweon 2025年02月20日）Meta正积极利用VR头显和AR眼镜来帮助训练机器人，并已经发布了诸如数据集HOT3D和人机协作研究框架PARTNR等工具。
延伸阅读：Meta开源基于Project Aria眼镜和Quest 3头显采集的数据集HOT3D
延伸阅读：用VR训练机器人，Meta发布人机协作研究框架PARTNR
日前，团队发文介绍了美国佐治亚理工学院的一项新研究：利用Project Aria眼镜来帮助训练机器人执行基本的日常任务：
想象一下，有“人”帮你完成家里的日常任务，比如洗衣服、洗碗和修理。或者说，如果你能拥有一个强大、灵活的人形机器人，它可以向你学习，并加速完成待办事项清单的任何项目。
在过去，教导机器人完成日常任务目前只能通过所谓的机器人远程操作完成，而这是一种缓慢而笨拙的数据收集方法。
但利用Project Aria Research Kit，佐治亚理工学院的机器人学习与推理实验室正在利用Project Aria的自中心传感器来创建所谓的“人类数据”，从而大幅减少训练机器人策略所需的机器人远程操作数据量，而这一突破有朝一日可能可以帮助人形机器人学习人类可以演示的任何任务。
乔治亚理工学院交互计算学院的博士生西玛·卡雷尔（Simar Kareer）表示：“传统上，为机器人收集数据意味着创建演示数据，。你用控制器操作机器人的关节来移动它并完成你想要的任务，你需要这样做数百次并同时记录传感器数据，然后训练你的模型。这是缓慢而困难的过程。打破这种循环的唯一方法是将数据收集与机器人本身分离。”
目前，机器人策略模型是用针对每个狭窄任务的大量针对性演示数据进行训练，但成本非常高。所以卡雷尔认为，被动地从一系列的研究人员身上收集数据可以用来为更广泛的任务创建数据，从而在未来创建更加通用的机器人。
受Project Aria和Ego-Exo4D的启发，卡雷尔开发了利用人类数据和机器人数据进行类人机器人开发的新算法框架EgoMimic。
在乔治亚理工学院的研究中，Project Aria眼镜不仅仅用于人体数据收集，它们同时用作机器人实时操作设置的一个组成。Project Aria就像一双眼睛一样安装在仿人机器人平台，并作为集成传感器包，从而允许机器人能够实时感知周围环境。
Aria Client SDK用于将Aria的传感器数据直接传输到机器人的策略中，并在附加的PC中运行，进而控制机器人的驱动。使用Project Aria进行数据收集和实时感知管道，这最大限度地减少了人类演示者和机器人之间的域差，为未来机器人任务训练的规模化人类数据生成铺平了道路。
得益于EgoMimic，与之前的方法相比，只需90分钟的录像，卡雷尔的机器人就能在各种任务中的表现提高了400%。机器人同时能够在新环境中成功地完成相关任务。
在未来，人形机器人可以使用以自中心的数据进行大规模训练，以便以与人类相同的方式执行各种任务。
Meta Reality Labs研究产品经理詹姆斯·福特（James Fort）表示：“我们把Aria看作是对研究界的投资。以自为中心的研究社区越标准化，就会有越多的研究人员能够通力合作。”
更多关于EgoMimic的信息请访问GitHub。
