Facebook开发“VR虚拟化身”高保真纹理贴图新方法ReAVAE

小编刘卫华 | 分类：论文 | 发布日期 2021年4月26日

加入映维网会员

高分辨率；高保真度；多样性；以及可编辑性。

（映维网 2021年04月26日）随着AR/VR设备和虚拟通信的日益普及，3D人类化身的创建最近变得越来越流行。人体由一个建模其形状的三维表面网格表示，然后再将编码其外观的纹理贴图（UV空间中的图像）映射到三维表面。真实纹理对于逼真的数字人类体验至关重要，但到目前为止，创建纹理贴图的成本非常高昂，因为它可能需要技术美术利用特殊设备进行数小时的手工创作，从而捕捉所有的身体和布料细节。

在Facebook一份名为《Semi-supervised Synthesis of High-Resolution Editable Textures for 3D Humans》的论文中，团队开发了一种在半监督环境下为三维人体网格生成各种高保真纹理贴图的新方法。所述方法具有以下特性：高分辨率；高保真度；多样性；以及可编辑性。

这份论文提出了一种新的架构：团队将其称之为区域自适应对抗式变分自动编码器（Region-adaptive Adversarial Variational AutoEncoder（ReAVAE）。它能够在半监督的环境下使用VAE从纹理映射中学习每个区域样式的概率分布，并允许使用所学习的分布实现每个区域的样式可控性。

所述架构包含三个组件。首先，样式编码器对输入纹理映射进行编码，并基于与输入纹理对应的语义分割掩码对编码特征进行区域平均池化，以产生每类特征向量。

第二，VAE瓶颈学习使用标准正态分布来近似每一类的特征，从中可以生成一个随机样本并产生一个变换后的特征向量。

最后，以每类变换后的特征向量、分割模板和随机高斯噪点作为输入，生成所需的纹理贴图。

生成的贴图通过预训练的图像超分辨率网络转换为更高的分辨率，并使用可微渲染器进行渲染。在推理过程中，团队单独使用生成器，通过输入掩码实现独立的样式可控性，通过输入随机向量实现每个区域样式的可控性，从而生成各种各样的纹理。

研究人员同时介绍了一种使得网络既能重建输入图像，又可以生成任意图像的训练策略。通过这样的方式，团队可以通过操纵生成器的输入区域特征向量，将输入图像的特定区域的样式与剩余区域的任意样式混合。最后，为了解决三维扫描中纹理数据有限的问题，论文提出了一种将全身人体图像中的纹理提升到UV空间来生成训练数据的方法。

实验结果表明，与以前的研究相比，这一方法能够合成更好的纹理贴图，同时可以实现独立的样式控制。