Meta为Codec Avatars 2.0开发定制芯片，带来照片级VR化身
专门定制的芯片
（映维网Nweon 2022年05月05日）Meta一直致力于名为Codec Avatar的虚拟数字人项目，从而帮助克服人与人之间，以及人与机会之间的物理距离挑战。借助突破性的3D捕获技术和人工智能系统，Codec Avatar可以帮助人们在未来快速轻松地创建逼真的虚拟化身，令虚拟现实中的社交联系变得如同现实世界般自然和常见。这家公司相信，逼真的虚拟表现将会改变一切。
根据早前公布的一份论文，Meta Reality Labs的研究人员开发了一款搭载定制加速器芯片的头显原型（基于Quest 2），从而支持一体机头显实现照片级真实感的Codec Avatars。
Meta早就在积极探索利用一系列先进机载传感器来实时创建逼真的虚拟数字人，例如眼动追踪、面部追踪和人工智能处理。
不过，早期的研究依赖于诸如英伟达Titan X GPU这样的强大显卡支持。所以，团队一直致力于研究如何在低功耗VR一体机实现Codec Avatars。
在上月2022 IEEE CICC大会发表的论文中，Meta表示自己构建了一枚基于7nm工艺的定制芯片，并专门用作Codec Avatars的加速器。
专门定制
据称，这种芯片属于专门定制，footprint仅为1.6mm²。团队在设计时特别考虑了Codec Avatars处理管道的一个重要环节：分析传入的眼动追踪图像，并生成Codec Avatars模型所需的数据。
这枚测试芯片采用7nm工艺制造，具有一个由1024个MAC阵列、2MB on-chip SRAM和一个32位RISC-V CPU组成的神经网络（NN）加速器。
他们同时重建了Codec Avatars人工智能模型，以利用芯片的特定架构。
Reality Labs的研究人员写道：“通过重新设计基于卷积神经网络的眼动追踪提取模型，并根据硬件对其进行修改，整个模型可以安装在芯片，从而降低访问芯片外存储器的系统级能量和延迟成本。通过有效地加速电路级的卷积运算，所提出的原型能够在低形状参数下以低功耗实现每秒30帧的性能。”
通过提速Codec Avatars工作负载的密集环节，所述芯片不仅加快了过程，而且降低了所需的功率和热量。由于芯片的定制设计，它能够比通用CPU更高效地实现这一点。
但需要注意的是，这款基于Quest 2的头显的通用CPU是骁龙XR2芯片。尽管定制芯片可以处理Codec Avatars编码过程的一部分，但管理解码过程并呈现虚拟数字人的实际视觉效果是骁龙XR2。
当然，即便是需要专用芯片，但能够在VR一体机实现Codec Avatars依然给人留下了深刻的印象。
然而，我们暂时无法确定的一个重要信息是：视觉渲染处理的效果。用户的底层扫描非常详细，但可能过于复杂，故无法在Quest 2完整呈现。所以不清楚Codec Avatars的“照片级真实感”到底保留了多少。
值得一提的是，这项研究代表了迈克尔·亚伯拉什（Michael Abrash）描述的全新计算架构应用。在早前的一次演讲中，他表示为了实现科幻作品描述的真正XR设备，我们需要从高度集中的处理转向一种分布式的处理架构。
可以想象，一系列特定于XR的功能可以从专门设计的芯片中受益，例如空间音频，毕竟真实的声音模拟就计算而言非常昂贵。另外，将统一设计硬件和算法可以在速度和功率方面产生巨大的帮助。
