穿衣Avatar组件解耦技术LayerAvatar实现秒级生成可编辑数字人
每个组件都不纠缠，而以前馈方式生成Avatar，每个Avatar只需要几秒钟
（映维网Nweon 2025年05月21日）穿衣Avatar在虚拟现实和增强现实等领域有着广泛的应用。然而，生成具有分离组件（例如身体，头发和衣服）的Avatar一直是一个挑战。在一项研究中，上海交通大学和香港大学团队提出了LayerAvatar。
这个基于前馈扩散的方法用于生成组件解纠缠的穿衣Avatar。为了实现这一点，研究人员首先提出了一种分层UV特征平面表示，其中组件分布在基于高斯的UV特征平面的不同层中，并带有相应的语义标签。
这种表示支持高分辨率（1024）和实时渲染，以及包括可控手势和面部表情在内的富表现力动画。以其作为基础，团队训练了一个单阶段扩散模型，并引入约束项来解决人体最内层的严重遮挡问题。
大量的实验证明了所述方法在生成解纠缠的穿衣Avatar方面的性能，每个Avatar只需要几秒钟生成。
对于Avatar，传统的基于图形的管道需要3D美术付出大量的努力。为了减少繁琐的手工劳动，方便批量生产，基于学习的自动生成方法近年来得到了广泛的探索。最近基于学习的方法主要将3D表示与生成管道和扩散模型结合起来创建Avatar。
然而，相关方法往往忽略了Avatar的组成特性，将人体、头发和衣服作为一个整体来表现，从而限制了它们在Avatar定制（如布料转移）方面的能力。
Neural-ABC和SMPLicit提供了解缠衣服和人体的参数化模型，但它们没有对纹理进行建模。HumanLiff提出了一种分层生成过程，首先生成穿着最少衣服的Avatar，然后生成穿着以当前层为条件的下一层衣服的Avatar。然而，人体和衣服的特征并没有完全解开，这使得很难提取每一层的组件，从而降低了编辑能力。
另外，其他方法遵循了DreamFusion的趋势，通过对二维扩散模型的先验知识进行优化，分别学习Avatar的各个组成，实现无纠缠的穿衣Avatar生成。相关方法可以生成穿着衣服的Avatar，每个组件都可以解开，但它们需要数小时来生成单个Avatar，并且训练时间将根据组件的数量线性增加。
针对以上问题，上海交通大学和香港大学团队提出了LayerAvatar。这种基于前馈扩散的方法，可以生成高质量的穿衣Avatar，每个组件都不纠缠，可以转移衣服、头发和鞋子。以前馈方式生成Avatar，每个Avatar只需要几秒钟。
为了实现这一点，团队选择3D高斯作为底层表示，因为它具有高分辨率和实时渲染的效率，强大的表示能力，以及便于编辑和动画功能的显式属性。然而，由于其非结构化的性质，与大多数当前的前馈生成管道不兼容，并且难以解除每个组件的纠缠，所以使用3D高斯函数表示解纠缠的穿衣Avatar不切实际。
所以，研究人员引入了一种基于高斯的UV特征平面，将3D高斯特征投影到一个预定义的二维UV空间中，每个3D高斯特征的属性编码为局部几何和纹理latent特征，其通过双线性插值从二维特征平面中获得。
为了实现Avatar组件（例如头发，鞋子等）的完全解纠缠，基于SMPL-X UV模板在UV特征平面的不同层中表示Avatar组件。考虑到分层表示，可以将生成的Avatar动画为新颖的姿态，包括面部表情的可控性，并通过从SMPL-X模型中提取混合形状和蒙皮权重的先验知识，将每个组件转换为各种身体形状。
为了以前馈方式生成分层表示，从多视图2D图像中训练了单阶段扩散模型。为了完全解开每个组件并确保可信的生成结果，在单个组件和整个组合穿衣Avatar中都使用了监督。另外，利用若干先验损失来约束严重遮挡人体的光滑表面和合理的颜色。
研究人员在多个数据集对LayerAvatar进行了评估，证明了它在生成无纠缠穿衣Avatar方面的优越性能。生成的Avatar支持高分辨率（1024）和实时渲染，以及表情姿态控制。
相关论文：Disentangled Clothed Avatar Generation with Layered Representatio
总的来说，LayerAvatar是一个基于前馈扩散的方法，并用于生成组件解纠缠的穿衣Avatar。团队首先提出了一种分层的UV特征平面表示方法，并用相应的语义标签表示不同层中Avatar的每个组成。
然后，训练一个单阶段扩散模型来生成每个特征平面，以获得每个组件解纠缠的穿衣Avatar。他们精心设计了语义感知的组合渲染和约束条件，以完全解除每个组件的纠缠。大量的实验证明了LayerAvatar在完全解缠穿衣Avatar生成和组件转移方面的优越性。
