Facebook探索为AR/VR构建高质量几何外观的全身化身模型
目标是建立能够由商用传感器驱动的高质量几何和外观全身模型
（映维网 2021年08月04日）对于名为《Driving-Signal Aware Full-Body Avatars》的论文，Facebook Reality Labs的目标是建立能够由商用传感器驱动的高质量几何和外观全身模型。构建表现性和可动画的虚拟化身是图形界研究的热点问题。数字替身植根于特效产业，而近年来我们开始看到实时应用的例子，如Epic Games的的Siren和数字王国的DigiDoug。
所述模型通常需要复杂的多视图捕获系统来构建。这种模型依赖于脆弱的hand-crafted假设，以鼓励对看不见的姿势进行泛化，而对动画的整体传感器要求依然非常重要。由于这种模型是独立于驱动模型的传感器配置学习，所以它们在精确匹配传感器观察到的姿势方面能力有限。
Driving-Signal Aware Full-Body Avatars
将驱动信号更好地集成到模型构建过程中的一种方法是：同时使用建模传感器和动画传感器进行捕获。在这种情况下，可以学习一个模型，从动画传感器捕获的驱动信号中直接回归完整的形状和外观。
尽管这种方法大大限制了可用的驱动信号类型，但团队认为这种情况存在更为基本的问题。建模传感器和动画传感器之间存在信息不对称，导致一对多映射问题，其中模型状态的多个组合同样可以解释测量结果。例如，基于身体关节角度的驱动信号不包含关于衣物皱纹和肌肉收缩的完整信息。
同样，面部关键点通常不会编码头发、注视或舌头运动。所以，如果没有特别考虑到这些缺失信息，训练的模型将不适合并产生大众外观。一些现有的研究通过使用时间模型和对抗训练来解决信息不对称问题。然而，所述方法往往规定了不适合特定应用的具体插补策略。另外，它们在模型训练后操作，使得难以克服模型中可能存在的过拟合或欠拟合行为。
团队在论文中的研究旨在解决学习全身数字化身模型的问题：忠实于信息不足的驱动信号，同时为缺失信息提供一个合理配置的显式数据驱动空间。所以，研究人员提出了一个变分模型，其明确地捕获了两种类型的变化因素：可以根据动画期间的驱动信号可靠估计的观察因子和仅在建模阶段可用的缺失因子。
核心策略是通过最小化观测因子之间的相关性来鼓励更好的泛化，同时最大化缺失因子的相关性，以便模型在动画过程中能够产生与驱动信号完全一致的合理/真实外观和形状配置。
研究人员通过构建驱动信号的空间变化表示来实现第一点。对于第二点，团队引入一个从观测因子中分离出来的隐空间，迫使它只捕获重建数据所必需的缺失因子。团队使用了肢体运动的粗略模型和环境遮挡贴图来，以便在不过度拟合的情况下模拟自阴影。生成的模型可以产生与驱动信号中包含的信息一致的合理动画空间。由于观察因子和缺失因子之间的明确分离，所述方法可以自由地采用最适合特定应用的插补技术。
团队用一种特别简单的方法证明了它的有效性；将平均值分配给序列中所有帧的缺失因子，这会产生令人信服的动画，并避免在其他方法中观察到过拟合或欠拟合效果。
总的来说，这篇论文的主要贡献包括：
1.全身模型的一种表示法。模型可以生成与驱动信号中包含的信息一致的各种合理配置空间。
2.在产生高质量重建的同时实现对新输入的出色泛化。
3.演示了这种方法在两种缺乏驱动信号信息的场景下的实用性。
更多关于论文的研究说明和实验统计请访问《Driving-Signal Aware Full-Body Avatars》
