Facebook探索为AR/VR构建高质量几何外观的全身化身模型
目标是建立能够由商用传感器驱动的高质量几何和外观全身模型
（映维网 2021年08月04日）对于名为《Driving-Signal Aware Full-Body Avatars》的论文，Facebook Reality Labs的目标是建立能够由商用传感器驱动的高质量几何和外观全身模型。构建表现性和可动画的虚拟化身是图形界研究的热点问题。数字替身植根于特效产业，而近年来我们开始看到实时应用的例子，如Epic Games的的Siren和数字王国的DigiDoug。
所述模型通常需要复杂的多视图捕获系统来构建。这种模型依赖于脆弱的hand-crafted假设，以鼓励对看不见的姿势进行泛化，而对动画的整体传感器要求依然非常重要。由于这种模型是独立于驱动模型的传感器配置学习，所以它们在精确匹配传感器观察到的姿势方面能力有限。
https://v.youku.com/v_show/id_XNTE4OTM0ODM3Mg==.html
Driving-Signal Aware Full-Body Avatars
将驱动信号更好地集成到模型构建过程中的一种方法是：同时使用建模传感器和动画传感器进行捕获。在这种情况下，可以学习一个模型，从动画传感器捕获的驱动信号中直接回归完整的形状和外观。
尽管这种方法大大限制了可用的驱动信号类型，但团队认为这种情况存在更为基本的问题。建模传感器和动画传感器之间存在信息不对称，导致一对多映射问题，其中模型状态的多个组合同样可以解释测量结果。例如，基于身体关节角度的驱动信号不包含关于衣物皱纹和肌肉收缩的完整信息。
同样，面部关键点通常不会编码头发、注视或舌头运动。所以，如果没有特别考虑到这些缺失信息，训练的模型将不适合并产生大众外观。一些现有的研究通过使用时间模型和对抗训练来解决信息不对称问题。然而，所述方法往往规定了不适合特定应用的具体插补策略。另外，它们在模型训练后操作，使得难以克服模型中可能存在的过拟合或欠拟合行为。
......（全文 1209 字，剩余 578 字）
