Facebook发布AR/VR研究项目Ego4D，训练AI以第一人称理解感知世界
能够从第一人称角度理解世界的人工智能可以开启沉浸式体验的新时代
（映维网 2021年10月20日）随着AR眼镜和VR头显逐渐成为智能手机这样的普及设备，能够从第一人称角度理解世界的人工智能可以开启沉浸式体验的新时代。想象一下，你的AR设备能够在架子鼓课堂中准确显示如何握拿鼓槌，指导你根据食谱烹饪菜肴，帮助你找到丢失的钥匙，或者通过面前的全息图帮助你回忆过去……
为了构建所述新技术，我们需要教导AI如同人类一样从第一人称角度理解世界并与其交互，亦即研究业界所说的自我中心认知。然而，今天的计算机视觉系统通常是利用数百万张以第三人称视角拍摄的照片和视频进行学习。Facebook首席研究科学家克里斯汀·格劳曼 (Kristen Grauman) 表示：“下一代人工智能系统需要从一种完全不同的数据中学习：一种从事件中心视觉而不是边线视觉展示世界的视频。”
所以，Facebook AI日前发布了一个旨在解决自我为中心认知挑战的长期研究项目：Ego4D。团队组建了一个由9个国家的13所大学和实验室组成的联盟，并收集了2200多小时的第一人称视频，其中有700多名参与者讲述了自己的日常生活。这极大地增加了当前研究社区公开的自我中心认知数据规模，而且要比任何其他数据集多20倍（以小时为单位）。当然，为了资助项目，Facebook向每一所参与的大学赠送了学术礼品。
Facebook AI同时与所述联盟和Facebook Reality Labs Research（FRL Research）合作，开发了五个围绕第一人称视觉体验视觉体验的基准挑战。Ego4D的五个基准是：
- 情景记忆：什么时候发生？（“我把钥匙放在哪里了？”）
- 预测：我接下来可能会做什么？（“等等，你已经放盐了。”）
- 手-物交互：我在做什么？（“教我如何打鼓。”）
- 视听日记：谁在什么时候说了什么？（“课堂上的主要话题是什么？”）
- 社交互动：谁在和谁互动？（“帮助我在这家吵闹的餐厅里听清谁在跟我说话。”）
所述基准测试将促进针对开发智能AI助手所必需的构建模块的研究。智能AI助手不仅可以在现实世界中实现理解和交互，同时可以在元宇宙中实现理解和交互。对于元宇宙，物理现实、增强现实和虚拟现实都集中在一个空间里面。
所述数据集将于今年11月向签署Ego4D数据使用协议的研究人员公开。各大学团队需要遵守各自的机构研究条例。这个过程涉及制定符合机构研究伦理委员会和/或审查委员会标准的研究方案，包括获得参与者知情同意和/或视频发布。
......（全文 3587 字，剩余 2750 字）
