Meta与首尔大学合作开发支持可变发型的3D虚拟化身技术

查看引用/信息源请点击:映维网Nweon

为Codec Avatars带来可变发型支持

映维网Nweon 2025年08月01日)为了构建真正的元宇宙愿景,克服人与人之间,以及人与机会之间的物理距离挑战,Met一直在探索名为Codec Avatars的项目。借助突破性的技术,Codec Avatars旨在帮助人们在未来快速轻松地创建图片真实感的虚拟化身,从而令虚拟现实中的社交联系变得如同现实世界般自然和常见。

根据一份新公布的研究,Meta和韩国首尔大学团队正在努力为Codec Avatars带来可变发型支持。

发型作为个人身份的核心要素,反映着个体风格与特征。当代社会允许人们跨越种族或天然发质限制自由选择发型,使其成为最易改变的外在特征。随着图像生成与编辑技术的进步,在图片中探索不同发型成为了可能,进而推动了对真实可控头发合成技术的需求。然而在3D虚拟化身领域,实现可媲美的发型迁移或编辑依然具挑战性。

当前3D虚拟化身技术在视觉质量方面取得显著突破,已能解耦并独立控制表情、视角甚至光照等特征。有的研究通过多主体采集数据或合成数据训练通用先验模型,构建了合理的3D头部潜空间。相关模型可通过微调创建新主体的个性化3D虚拟化身。但多数方法依赖于整体建模,忽视了头部的固有组合特性,导致发型迁移等任务难以实现。

对于从视觉数据中学习解耦的人脸/头发潜空间,主要挑战在于多视角含发-无发配对数据集的稀缺性。缺乏这类数据时,模型因无参照基准难以分离头发与面部属性。这种配对样本为解耦提供关键监督,但采集过程存在固有困难:参与者通常不愿剃发或佩戴全覆盖发帽进行无发采集,导致难以获取多样化高质量解耦数据。

为突破限制,Meta和韩国首尔大学团队提出基于影棚多视角数据的3D高斯头部组合先验模型。针对含发/无发配对数据缺失问题:

  • 合成无发数据生成

    • 为每个主体配准光头网格

    • 基于扩散先验获取无发纹理

    • 训练时掩码图像头发区域并渲染秃头网格生成无发图像

  • 组合式先验架构

    • 扩展整体先验模型学习解耦人脸与头发的组合3D先验。依托合成配对数据集,模型以数据高效方式学习人脸/头发的解耦潜空间。

通用模型可以通过分别建模头部和头发,并控制各组件,支持跨训练身份的人脸与头发迁移。同时,它可基于未见采集数据微调,生成具备独立人脸/头发控制能力的个性化3D虚拟化身。

Meta与首尔大学合作开发支持可变发型的3D虚拟化身技术

如上图所示,团队提出的HairCUP系统包含ID条件化的人脸/头发超网络和一个组合式化身模型。超网络通过UV展开的平均反照率贴图和几何贴图生成多尺度偏置图,并将其添加到人脸/头发高斯解码器的每一层中。组合模型由头发运动编码器和面部表情编码器构成,它们分别生成运动编码与表情编码,供解码器生成高斯要素。

训练过程中,人脸/头发数据均来自同一对象,并采用多视角监督和基于分割的分离处理。在测试阶段,不同对象的人脸/头发ID数据及表情数据可实现跨对象混合使用。

相关论文HairCUP: Hair Compositional Universal Prior for 3D Gaussian Avatars

https://arxiv.org/pdf/2507.19481

总的来说,这项研究攻克了3D头发编辑领域的核心难题:通过创新合成数据方案突破真实无发数据获取瓶颈,并建立了首个支持显式控制、可迁移、可扩展的头发组合式通用先验模型,为Codec Avatars提供了关键技术支持。

本文链接https://news.nweon.com/131411
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群苹果Vision  |  Meta Quest  |  AR/VR开发者  |  映维粉丝读者

您可能还喜欢...

资讯