Meta发布Avat3r技术:四张自拍照生成可动画3D数字替身
只需4张自拍照即可创建图片真实感的Avatar
(映维网Nweon 2025年03月05日)通常,创建高质量的Avatar需要工作室质量的设备,以及长达一小时的录制。这限制了相关流程的适用性,特别是在休闲环境中,因为用户可能只想通过智能手机拍摄的照片来创建令人信服的数字替身。
在日前分享的新论文中,慕尼黑工业大学和Meta团队介绍了只需4张自拍照即可创建图片真实感Avatar的Avat3r。
根据随意的图像构建一个逼真的3D Avatar涉及数个困难的挑战。首先,稀疏的3D重建带来了严重的约束优化问题,因为可用的图像中无法看到诸如嘴巴内力和头侧等区域。接下来,说话人头动画需要合理地变形重建的人脸。同时,输入的图像可能并不一致,例如在录制过程中不能完全保持静止。
要成功地重建图片上述三个挑战,即稀疏的3D重建,人脸动画和鲁棒重建,它们必须同时予以解决。由于上述挑战,目前用于高质量Avatar创建的最佳方法无法进行应用。
另一方面,针对3D感知人像动画的方法从包含各种不同人的大型视频数据集中学习3D人头的先验。所以,现有的方法已经可以令人信服地从很少的输入图像中绘制人脸。然而,相关方法通常侧重于正面,可能会牺牲3D一致性或时间一致性来达到令人满意的图像合成质量。这使得它们在需要适当3D模型的时候不太适用。
......(全文 1219 字,剩余 741 字)


