Meta Codec Avatar 3.0用Gaussian Splatting渲染更逼真

查看引用/信息源请点击：mixed-news

当时的版本是Codec Avatar 2.0，现在已经有了利用Gaussian Splatting的Codec Avatar 3.0

（映维网Nweon 2024年03月27日）你可能依然记得Meta首席执行官马克·扎克伯格在2023年接受莱克斯·弗里德曼（Lex Fridman）的专访。其中，两人都以Codec Avatar的图片真实感化身进行对话。在当时，弗里德曼多次表达了感慨和令人难以置信。他同时注意到扎克伯格的表情映射非常精确，可以读懂对方的微表情和肢体语言。这位著名主持人甚至对着Codec Avatar版本的扎克伯格说道：“我已经忘了你不是真实的存在。”

尽管我们都知道弗里德曼和扎克伯格都是通过定制的昂贵系统进行全面扫描和制作，但Meta并未分享进一步的细节。日前，Meta的Codec Avatar研究主管亚瑟·谢赫（Yaser Sheikh）在演讲中分享了相关的信息。据介绍，团队使用了一个工作站与4张GeForce RTX 4090显卡。

另外，当时的版本是Codec Avatar 2.0。谢赫在后面的问答环节中表示，实验室已经可以允许Codec Avatar 1.0版本在一体机中为多人工作，而相关虚拟化身可以通过智能手机的面部扫描进行创建。下面的视频演示了Codec Avatar 1.0：

值得一提的是，谢赫在演讲中简要介绍了Codec Avatar 3.0。它可以使用Gaussian Splatting来进行渲染虚拟化身。如下图所示，Codec Avatar 3.0更加逼真，细节程度更加丰富，包括褶皱和毛发表现。

不过，如同Codec Avatar 2.0，Codec Avatar 3.0需要强大的工作站支持。这意味着它离在一体机头显进行本地渲染依然非常遥远。另外Meta没有宣布Codec Avatars研究将于何时变成产品。

但根据一份泄露的硬件路线图，Meta的Codec Avatars技术将会出现在一款全新的高级头显中，但可能只是搭载Codec Avatar 1.0版本。