Meta分享Codec Avatar进展：曾要170个摄像头，现只需一台智能手机
曾经需要170+个摄像头的复杂捕获装备，但现在只需一台带RGBD摄像头的智能手机
（映维网Nweon 2022年06月14日）自2019年正式公开介绍旨在创建图片真实感虚拟数字人的Codec Avatar项目以来，Meta就一直在积极探索各种优化方式。在日前公布的一项研究中，团队介绍了一个重要的进展：捕获Codec Avatar曾经需要170+个摄像头的复杂装置，但现在只需一台带RGBD摄像头的智能手机（例如iPhone 12）。
研究人员声称，基于智能手机的扫描过程平均只需要3.5分钟。当然，生成包含所有细节的虚拟数字人需要在一台配置四个高端GPU的机器工作6个小时，但如果部署在产品之中，所述步骤可以发生在云端，而不是用户本地设备。
就自我标志而言，人脸比任何其他属性都要重要，成为了“我是谁”和“谁是我”的关键判断因素。所以，人类对人脸非常敏感。但对于生成图像真实感的虚拟数字人而言，这提出了一个巨大的挑战，因为即便是微小的偏差都会大大减损真实感和沉浸感。
为了克服这一困难，传统手段依赖于广泛的个人特定数据捕获和手动处理。这一过程成本高昂且非常耗时。在过去，要捕获一个Codec Avatar，Meta需要一个配备171个高分辨率摄像头的MUGSY装置。
所以，如何降低捕获要求成为了团队一个亟需攻克的难题。在名为《Authentic Volumetric Avatars from a Phone Scan》的论文中，Meta表示现在只需一台带RGBD摄像头的智能手机即可完成逼真的捕获。
从有限数据自动创建Avatar的核心挑战在于prior和evidence之间的取舍权衡。prior需要以一种轻量级的方式补充关于用户外观、几何和运动的有限信息，比如说仅通过手机摄像头，但这一般是以evidence作为代价，亦即真实感减损。
......（全文 1567 字，剩余 970 字）
