华为提出3D感知发型迁移框架,实现大姿态差异下的精准换发

PICO 4 Ultra

查看引用/信息源请点击:映维网Nweon

大姿态差异下的精准换发

映维网Nweon 2026年06月15日)构建真实、个性化的虚拟化身一直是XR的核心挑战之一,尤其是发型的动态迁移,现有方法往往因姿态和尺度差异而产生错位、几何失真或身份丢失。加拿大西蒙菲莎大学和华为加拿大的研究团队介绍了一个名为HairPort的框架,通过显式3D重建与流匹配合成,它可以为XR中的高保真发型迁移提供关键的技术基础。

华为提出3D感知发型迁移框架,实现大姿态差异下的精准换发

HairPort的核心设计是在任意视点下保持发型几何一致性,而这可以用于解决虚拟化身制作中最棘手的姿态泛化问题。

框架包含三个独立模块:

  • 秃头转换器:首先将源图像中的人物转化为逼真的“秃头”版本,消除原始发型的干扰。团队构建了Bald 数据集,包含6,000组像素对齐的头发‑秃头图像对,涵盖多种发型、肤色、光照和姿态。

  • 3D感知发型迁移:对参考发型进行3D重建(使用Hi3DGen或Ultra3D等方法),然后通过优化camera参数(旋转、平移、焦距)将其对齐到源图像的头部视角。最后结合头型掩码与面部地标进行仿射变换,获得“源对齐”的参考发型信号。

  • 流匹配发型合成:以秃头源图像和对齐后的参考发型为条件,利用FLUX.2 [klein] 9B流匹配编辑器生成最终结果,保留源身份、光照、背景,同时忠实呈现参考发型的颜色、纹理与结构。

量化结果:发型相似度与身份保持均领先。研究团队在CelebA‑HQ人脸对齐基准及自建全帧测试集,将HairPort与HairCLIPv2、HairFastGAN、Stable‑Hair、HairFusion等现有方法进行了比较:

  • 发型相似度:HairPort达到0.83,高于第二名的0.81。

  • 身份保持:HairPort获得0.74,同样领先。

  • 非头发区域一致性:HairPort以0.83显著优于其他方法。

在用户研究中,HairPort在发型准确度(76.6%)、无关属性保持(78.9%)和视觉自然度(74.5%)均获得超过74%的偏好率,远高于所有基线。

另外,秃头转换模块在身份保持和真实感指标方面优于HairMapper、Stable‑Hair及商业工具(FLUX.2、Gemini 3 Pro Image)。

华为提出3D感知发型迁移框架,实现大姿态差异下的精准换发

这项技术将十分适合以下XR场景:

  • 大姿态变化下的发型一致性:传统2D方法在头部旋转超过一定角度时会产生严重失真。HairPort通过显式3D对齐,可在任意视角下保持发型与头部的几何匹配,这对于VR社交、全身追踪化身至关重要。

  • 基于参考图像的快速换发:用户只需提供一张参考发型照片,HairPort即可将该发型迁移到自己的虚拟化身上,无需手动建模或训练。

  • 简化内容创作:XR内容开发者可借助HairPort从真实肖像中提取发型并迁移到3D角色,大幅降低高质量发型资产的生产成本。

当然,当前技术存在一定的局限,包括对3D重建精度敏感,若参考头发的颜色或纹理被错误重建,最终输出会继承该错误;运行时间较长,单张图像在H100 GPU约需 5–7 分钟(取决于 FLAME 拟合方式),尚未达到实时交互的要求。

相关论文HairPort: In-context 3D-aware Hair Import and Transfer for Images

HairPort的代码、预训练模型以及Baldy数据集等请访问项目主页deepmancer.github.io/HairPort

本文链接https://news.nweon.com/141114
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群苹果Vision  |  Meta Quest  |  AR/VR开发者  |  映维粉丝读者
XR Research Wechat Group/微信群

您可能还喜欢...

资讯