清华与字节跳动团队提出单图像3D化身生成新方法SEGA
基于单图像的3D可驱动高斯化身创建方法
（映维网Nweon 2025年07月31日）在虚拟现实等应用中，从有限的输入创建逼真的3D化身已经变得越来越重要。尽管神经渲染和3D高斯飞溅等进步已经令高质量的数字人类化身创建和动画成为可能，但大多数方法依赖于多图像或多视图输入，限制了它们在现实世界中的实用性。
在一项研究中，清华大学深圳国际研究生院和字节跳动团队提出了SEGA。这种基于单图像的3D可驱动高斯化身创建的新方法将广义先验模型与新分层UV空间高斯飞溅框架相结合，把从大规模2D数据集获得的先验知识与从多视图、多表情和多ID数据中学习到的3D先验知识无缝结合，实现了对未见身份的强大泛化能力，同时确保了新视点和表情之间的3D一致性。
研究人员进一步提出了一个分层的UV空间高斯飞溅框架，利用FLAME-based结构先验，并采用双分支架构来有效地分离动态和静态面部成分。动态分支对表情驱动的精细细节进行编码，而静态分支对表情无关区域进行编码，从而实现高效的参数推理和预计算。本设计最大限度地利用有限的3D数据，实现动画和渲染的实时性。
另外，SEGA执行个人特定的微调，以进一步提高生成化身的保真度和真实感。实验表明，所提出方法在泛化能力、身份保存和表情真实感方面优于最先进的方法。
......（全文 2265 字，剩余 1787 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
