港大联合团队提出EgoHumanoid,用PICO提升机器人泛化能力

PICO 4 Ultra

查看引用/信息源请点击:映维网Nweon

PICO提升机器人泛化能力

映维网Nweon 2026年02月17日)想象一下,一个身高1.3米的人形机器人,不仅能像人一样走路,还能在陌生的卧室里准确放置枕头,在便利店中帮忙往购物车里放玩具,甚至在户外花园里将垃圾投入垃圾桶。这听起来像是科幻电影的场景,但一项最新的研究正将其变为现实。

香港大学、上海创新研究院、北京航空航天大学及Kinetix AI的联合研究团队提出了EgoHumanoid框架,使用PICO VR头显在室内和室外环境中低成本、无约束地记录人类演示,并系统性地探索了如何利用人类日常生活中的“自中心”演示视频来训练人形机器人完成复杂的全身移动操作任务。

港大联合团队提出EgoHumanoid,用PICO提升机器人泛化能力

传统上,训练人形机器人需要研究人员通过远程操作,在受限的实验室环境中一遍遍演示。这种方法不仅成本高昂、操作复杂,更关键的是,由于硬件和安全限制,机器人很难在真实的家庭、商店、公园等多样化场景中进行数据收集,导致其一旦离开熟悉的环境就“水土不服”,泛化能力极差。

EgoHumanoid的核心洞察在于:人类每天都在机器人期望运行的各种环境中自然地执行移动操作任务。 为何不让机器人直接“偷师”人类呢?

借助PICO头显和PICO追踪器,研究团队可以轻松记录人类在各种室内外场景中的行为。一个人类演示者在公园扔垃圾或在卧室整理枕头的几分钟视频,就能成为机器人宝贵的学习材料。这种数据收集方式的效率是传统机器人远程操作的两倍以上。

然而,让机器人模仿人类并非易事。人类的手臂长度、身体比例、视角高度乃至行走姿态,都与机器人存在巨大差异。直接让机器人照搬人类动作行不通。

港大联合团队提出EgoHumanoid,用PICO提升机器人泛化能力

所以,EgoHumanoid团队设计了一套精巧的对齐流程,包含两大核心:

  • 视角对齐:利用先进的深度估计和图像生成技术,将人类“眼中”的世界(第一人称视角图像)转换为机器人“眼中”的世界。

  • 动作对齐:将人类复杂的全身运动,映射到机器人可执行的统一动作空间中。

通过这种对齐,一个统一的视觉-语言-动作(VLA)模型可以同时在大量人类数据和少量机器人数据上进行“协同训练”。

相关论文EgoHumanoid: Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration

在真实的Unitree G1人形机器人上,EgoHumanoid在四个具有挑战性的移动操作任务(枕头放置、垃圾处理、玩具转移、购物车装载)中进行了验证。

结果显示,与仅使用机器人数据训练的基线模型相比,EgoHumanoid不仅在熟悉的实验室环境中表现更优,在从未见过的全新场景(如真实卧室、便利店)中,性能更是显著提升了51%。

本文链接https://news.nweon.com/138197
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群苹果Vision  |  Meta Quest  |  AR/VR开发者  |  映维粉丝读者
XR Research Wechat Group/微信群

您可能还喜欢...

资讯