Meta研究员探索AR/VR照片级真实感人体衣物穿着

小编刘卫华 | 分类：论文 | 2021年12月14日

加入映维网会员

动画化照片级真实感的穿衣化身

（映维网 2021年12月14日）可动画的照片级真实感数字人类是实现社交临场感的关键能力，并可以为远程联系开辟一条全新途径。长期以来，计算机图形学界一直在研究数字人类化身的构建问题。人体建模的早期研究是用最低限度的衣物来构建人体表面的低维几何表示。

不过，过往的研究大多只关注于几何体的建模，不能直接产生真实感的渲染输出。即使采用了基于神经网络的数据驱动方法，为照片级真实感衣物人体制作动画依然是一个远未解决的问题。

在名为《Modeling Clothing as a Separate Layer for an Animatable Human Avatar》的论文中，卡内基梅隆大学和Facebook Reality Labs Reaserch的研究人员尝试通过可轻松访问的驱动信号来动画化照片级真实感的穿衣化身，例如三维身体姿势和面部关键点。

利用诸如Variational Autoencoders（VAE）这样的深度生成模型来同时建模几何体和纹理已证明是创建照片级真实感人脸化身的有效方法。最近业界已经扩展了这种方法，以身体姿势和面部关键点为条件，通过VAE对全身化身进行建模。

由于所述条件信号不能唯一地描述所有的身体状态，如头发和注视点，VAE隐代码用于区分多个可能的身体阶段。另外，为了减少驱动信号和隐码之间的伪相关，必须对驱动信号和隐码进行分离。

尽管先前的研究已经取得了进展，但在构建高保真的可动画全身化身方面依然存在挑战，团队将衣物建模确定为一个主要困难。可以观察到的伪影包括身体姿势和衣物状态之间的不完全相关性、衣物和皮肤边界的重影效果、以及严重的皱纹细节和动态损失等等。

当捕获到的衣物松散且表现出高动态性时，这种伪影会变得更加明显。一方面，由于配准的挑战，网络可能会对数据拟合不足，无法再现高频衣物细节；另一方面，尽管有解耦，但网络依然可能会过度拟合，捕获驱动信号和衣物状态之间不必要的机会相关性。

为构建一个可用于穿衣人体的动画化身，团队提出了一种两层网格表示方法。结果表明，显式衣物建模不仅提高了衣物的渲染质量，而且实现了衣物纹理的可编辑性，从而为编解码化身开辟了全新的可能性。穿衣人体的两层配准不成功，就无法获得两层化身模型。

所以，团队提出了一种新的穿衣人体配准函数和纹理对齐函数，利用逆渲染来提高光度学对应性。

在这项研究中，研究人员显式地表示身体和衣物作为一个编解码器化身中的单独网格层。这带来了数个好处。

首先，能够准确地配准身体和衣物，特别是对于团队新开发的光度追踪方法（使用反向渲染将衣服纹理与参考对齐）。

第二，在单独层中建模身体和衣物减轻了上述单层化身的机会相关性问题，因为单独层自然地彼此分离。在团队提出的两层VAE中，关节角度的单个帧可以很好地描述身体状态，而衣物动态可以通过Temporal Convolutional Network（TCN）从姿势序列中推断。

第三，由于衣物的显式建模，动画输出可以进一步编辑，例如，通过改变衣物纹理。这带来了改变全身化身外观的可能性。

方法的中心思想是将身体和衣物明确地表示为两个独立的层。这种方法的动机有几个方面。首先，研究人员注意到身体和衣物的变形遵循非常不同的动态模式。驱动信号中关节角度的单帧可以通过Linear Blending Skinning（LBS）和位置相关变形来确定人体状态。相比之下，衣物的动态变化太大，不能在不考虑时间信息的情况下仅使用当前的身体姿势来描述。所以，需要通过不同的输入条件来控制身体和衣物层。

第二，在人体与衣物的单层配准中，沿衣物边界的特定顶点可能会不准确。在不同的帧中，由于衣物的相对滑动运动，它可以属于人体区域，或可以属于衣服区域，这违反了单层假设。对于用这样的数据训练的编解码器化身，其通常在所述区域具有衣物和皮肤的混合颜色，导致重影效果。尽管解耦可以缓解这类伪影，但由于捕获衣物和身体之间交互的训练数据有限，这无法保证。在研究中，通过在单独层中配准身体和衣物，团队避免了这种伪影。

第三，身体和衣物在单独层中的表示为进一步改变化身的外观打开了机会，例如在不干扰身体外观的情况下对衣服纹理进行时间一致编辑。这种能力同时指明了通过物理模拟改变衣物风格的潜在方向。