GraphAvatar框架利用图神经网络GNN实现高保真Avatar渲染
大大减少了存储开销，仅为10MB
（映维网Nweon 2025年05月09日）从任意视点绘制逼真的Avatar对于虚拟现实等各种应用至关重要。尽管基于神经辐射场NeRF的方法可以取得令人印象深刻的结果，但它们缺乏保真度和效率。另一方面，使用3DGS的方法提高了渲染质量和实时性能，但依然需要大量的存储开销。
在一项研究中，中国科学院，中国科学院大学和英特尔团队介绍了一种名为GraphAvatar的方法，利用图神经网络GNN为Avatar生成3D高斯分布。具体来说，GraphAvatar训练一个几何GNN和一个外观GNN来从追踪网格中生成3D高斯属性。
所述，这一方法可以存储GNN模型而不是3D高斯模型，从而大大减少了存储开销，仅为10MB。
为了减少人脸追踪误差的影响，研究人员同时提出了一种新的图形引导优化模块来优化训练过程中的人脸旨在参数。最后，他们引入了3D感知增强器进行后期处理，以提高渲染质量。团队进行了全面的实验来证明GraphAvatar在视觉保真度和存储消耗方面超越现有方法的优势。消融研究则揭示了渲染质量和模型大小之间的权衡。
从任何视点渲染逼真的Avatar对于虚拟现实和增强现实应用都必不可少。视觉保真度、渲染速度和存储开销等关键方面至关重要。随着深度学习的发展，基于神经领域的方法因其在所述方面的优势而成为主流。
开创性的神经领域工作神经辐射场NeRF及其变体在神经渲染和重建方面取得了令人印象深刻的成果。但它们缺乏保真度和效率。另一方面，使用3DGS的方法提高了渲染质量和实时性能，但依然需要大量的存储开销。
为了解决相关问题，中国科学院，中国科学院大学和英特尔团队提出了一种名为GraphAvatar的新方法，利用图神经网络GNN为逼真的Avatar生成3D高斯函数。
GraphAvatar优化了一个几何GNN和一个外观GNN，使用追踪网格作为输入来生成3D高斯分布。3D高斯作为锚点，并输入到一个与视图相关的MLP中，以学习与不同视点相关的3D高斯偏移量。
预测的偏移量调整锚定的3D高斯，打破了被追踪网格施加的限制，允许学习更好的细节。随后，使用光栅化将调整后的3D高斯图像渲染成逼真的Avatar。所以，这个方法存储GNN模型而不是3D高斯模型，从而显著降低了存储开销。
为了减少人脸追踪误差的影响，团队同时引入了一个先进的图导优化模块来优化训练过程中的人脸追踪参数。最后，为了减少GNN引起的过度平滑，在后处理中加入了一个轻量级的3D感知增强器，利用渲染的深度图来提高渲染质量。
直观地说，目标是学习一个函数F(G(x)) = C，将可动画的3D高斯图像映射到栅格化的Avatar图像中。然而，渲染高保真Avatar通常需要超过10,000个高斯参数。在致密化过程中，高斯函数的数量会随着训练的变化而波动，这导致在建模具有不同面部表情的不同Avatar时需要动态存储。
为了减轻由FLAME参数引起的不准确性，团队开发了一个图导优化模块（GGO），以在整个训练过程中改进参数。受先前研究人员引入时间回归器来校正系数并确保平滑的启发，他们输入归一化时间t，并通过MLP对其进行处理以提取时间特征ft。
随后，将来自两个Graph Unet的瓶颈特征连接起来，表示为fg。在生成特征后，在ft和fg之间执行交叉注意机制（Attn），从而能够预测追踪参数的偏移量。
为了达到更高的渲染质量，研究人员设计了一个3D感知增强器，专门用于细节恢复。不是仅仅连接渲染贴图作为Unet后处理器的输入，他们单独处理深度信号D。深度信号通过学习变换整合到Unet的每个块中。这种方法允许基于深度信息进行更细致的调整，增强渲染图像的细节。
相关论文：GraphAvatar: Compact Head Avatars with GNN-Generated 3D Gaussians
总的来说，GraphAvatar将追踪网格作为输入，并使用图神经网络生成3D高斯参数，最终渲染动态Avatar动画。与直接存储3D高斯数据相比，GraphAvatar采用了Graph Unets，显著减少了存储消耗。所述方法在图像质量和存储消耗方面都达到了最先进的性能，为先进的数字人类Avatar应用开辟了新的可能性。
代码请访问这个页面。
