用VR训练机器人，Meta发布人机协作研究框架PARTNR
用VR训练机器人
（映维网Nweon 2025年02月08日）特斯拉，小鹏，英伟达……越来越多的团队探索用VR训练机器人和机器狗。现在，Meta同样在探索用VR训练机器人，并发布了名为PARTNR的人机协作研究框架。
想象一下这样一个世界：机器人是我们日常生活中的重要伙伴。他们可以打扫卫生、送外卖、协助做饭，同时理解我们的需求，并适应一个繁忙的家庭的动态环境。
为了推动无缝人机协作研究，并实现所述愿景，Meta日前发布了名为PARTNR的人机协作研究框架。
目前，大多数机器人都是独立操作，这限制了它们作为未来辅助代理的潜力。有了PARTNR，Meta的目标是通过开源一个大规模的基准、数据集和模型来改变现状。PARTNR的核心是提供一种机制，通过大规模的模拟训练来训练社交机器人，然后在物理世界中进行部署。
PARTNR是以Habitat 1.0和Habitat 2.0作为基础，前者训练虚拟机器人在真实房屋的3D扫描中导航，后者训练虚拟机器人通过重新排列物体来清理房屋。Habitat 3.0则是一个旨在训练人机协作模型的模拟器，支持大规模训练人机协作模型。
团队同时引入了PARTNR基准，目标是对协作机器人进行基准测试，并确保它们在模拟和物理环境中都能表现除恶。基准包括10万项任务，包括洗碗和洗玩具等家务。他们进一步发布了PARTNR数据集，包括模拟PARTNR任务的人类演示，可用于训练嵌入的人工智能模型。PARTNR基准突出了现有模型的主要缺点，例如在任务跟踪和从错误中恢复方面协调性差和失败。
值得一提的是，Meta在可以在模拟和物理环境中与人类合作的模型方面取得了进展。使用大规模模拟数据，团队训练了一个大型规划模型，在速度和性能方面均优于最先进的基线。模型的速度提高了8.6倍，而与现有的高性能模型相比，完成任务的效率提高了24%。它可以解释长期指令，将复杂的任务分解为可操作的步骤，并为人类用户提供有意义的帮助。
Meta指出，他们已经成功地在波士顿动力公司的Spot身上部署了这个模型，并展示了它在现实世界中与人类一起工作的能力。为了提高透明度和信任度，团队同时开发了一个混合现实界面，以将机器人的动作和思维过程可视化。
团队评价道：“人机协作领域的创新和发展潜力是巨大的。有了PARTNR，我们想把机器人重新想象成未来的伙伴，并在这个令人兴奋的领域启动相关研究。”
