研究员分享基于混合2D-3D高斯溅射的几何精确高保真头部Avatar重建
充分利用2DGS和3DGS的优势
（映维网Nweon 2025年05月05日）重建高保真三维Avatar在虚拟现实等各种应用中至关重要。利用神经辐射场（NeRF）重建逼真Avatar的开创性方法受到训练和渲染速度的限制。基于3DGS的新方法可以显著提高了训练和渲染的效率，但由于三维立体图像的表面不一致导致几何精度不理想。另外，2DGS使用2D Surfels，以牺牲渲染保真度为代价来提高几何精度。
为了充分利用2DGS和3DGS的优势，中国科学院，中国科学院大学，英特尔，清华大学，南开大学，北京大学团队提出了一种名为MixedGaussianAvatar的新方法，以用于真实和几何精确的Avatar重建。
主要思想是利用2D高斯重建Avatar的表面，确保几何精度。她们将2D高斯函数附加到FLAME模型的三角形网格，并将额外的3D高斯函数接到2DGS渲染质量不足的2D高斯函数，从而创建了一个混合的2D-3D高斯表示。
接下来，使用FLAME参数将2D-3D高斯函数动画化。研究人员进一步引入了一种渐进的训练策略，首先训练2D高斯函数，然后对混合2D-3D高斯函数进行微调。综合实验证明了MixedGaussianAvatar的优越性。
从不同视点捕获的多个2D图像重建高质量的3D Avatar对于各种应用至关重要，尤其是虚拟现实。关键的高保真方面包括和几何和逼真精度。随着深度学习的进步，基于神经辐射场NeRF 和3DGS的技术越来越受欢迎，为创建高保真3D Avatar提供了显著的优势。
NeRF引入了辐射场的概念，利用神经网络存储3D信息，从而可以重建高质量的静态场景。在3D Avatar重建方面，所提出的方法主要侧重于重建动态Avatar。例如，Neural Head avatar (NHA) 处理显示各种表情和视角的RGB视频输入。NHA包括从RGB输入帧中估计和精炼FLAME模型的低维形状、表情和姿态参数，这允许创建一个可以从新视点动画和渲染的神经Avatar。
然而，由于NeRF的隐式表征特征，使用基于NeRF的方法生成的Avatar精度较低，并且训练和渲染过程较慢。
最近，3DGS有效地利用3D高斯模型对静态场景进行建模，并通过可微光栅化器进行渲染，大大加快了多视图RGB图像的三维重建过程。由于3DGS的显式表示和高效的栅格化特性，它可以实现高渲染质量和快速的训练和推理速度。在3D Avatar重建中，大多数方法是将3D高斯函数附加到FLAME三角形网格以创建动态面部表情。例如，GaussianAvatars将3D高斯的局部位置、旋转和尺度与全局参数对齐。Gaussian Head Avatar则利用神经网络预测3D高斯参数。
上述方法的优势在于它们能够动态地表示3D Avatar，同时产生高质量的图像。然而，由于3DGS固有的多视图不一致性，它不能准确地重建几何表面。
在另一方面，2DGS将3D高斯替换为2D高斯，并在飞溅过程中采用射线-飞溅交叉方法，确保了多个视图之间的一致性。其优点在于重构几何表面的高质量，但会影响渲染图像的质量。
总结3DGS和2DGS：
-
3DGS在新颖视图合成方面取得了逼真的效果，但在捕获精确的几何结构方面存在困难。
-
2DGS使用2D Surfels来精确重建几何表面，但不能像3DGS那样有效地渲染逼真的图像。
为了利用3DGS和2DGS的优势，中国科学院，中国科学院大学，英特尔，清华大学，南开大学，北京大学团队引入了一种名为MixedGaussianAvatar的创新方法。
所提出的解决方案采用2D-3D混合高斯表示，将3DGS的显色优势与2DGS的几何重建优势相结合，并实现了逼真、几何精确的3D头部头像重建。
如图1所示，团队的主要目标是使用2DGS来保持表面的几何精度。他们将2D高斯函数附加到FLAME模型的三角形网格，然后在渲染质量不足的区域将额外的3D高斯函数接到相应的2D高斯函数。混合2D-3D高斯分布可以使用FLAME参数驱动，形成动态三维表示。
为了训练混合2D-3D高斯函数，研究人员进一步提出了一种渐进式训练策略，即首先训练2D高斯函数，然后对混合2D-3D高斯函数进行微调.
所提出的可微混合2D- 3D高斯溅射方法从多视图2D图像中精确重建几何精确的Avatar，如图2所示。他们从训练3D Avatar的2D高斯表示开始，以确保几何精度。接下来，识别渲染质量不足的2D高斯。
对于已识别的2D高斯，绑定额外的3D高斯来构建混合2D-3D高斯。他们使用局部到全局转换方法来转换混合2D-3D高斯，以创建动态3D Avatar。最后，训练混合2D-3D高斯来创建逼真的和几何准确的Avatar。
总的来说，MixedGaussianAvatar是一种使用混合2D-3D高斯飞溅来创建Avatar的新方法。他们使用2DGS来保持表面几何形状，并在2DGS渲染质量不足的地方使用3DGS进行色彩校正，重建一个真实且几何精确的3D Avatar。
团队采用局部到全局的变换技术来重建动态Avatar，并采用渐进式训练策略来训练混合2D-3D高斯图像。所述方法在网格重建和纹理渲染方面表现出优异的性能，为领域树立了新的标准。
代码请访问这个页面。
