Facebook研究根据不同视点、光照动态渲染VR化身，让虚拟角色更逼真
对于游戏和电影制作，角色和环境之间的一致性至关重要
（映维网 2021年05月27日）近年来，虚拟化身创作在使用基于学习的技术方面有了显著的增长。传统的物理启发方法需要精确的几何结构和反射率，而这通常需要昂贵且耗时的手动处理。相比之下，基于学习的方法利用深度神经网络形式的通用函数逼近器来忠实地模拟人脸外观。它们可以通过完全自动化的管道来实现令人印象深刻的真实感，不依赖于对面部几何和材质属性的精确估计。它们同时能够在VR等要求苛刻的应用中实现实时生成和渲染。
尽管存在众多优点，但迄今为止，使用基于学习的技术来创建虚拟化身仅限于单一的照明条件。尽管在基于学习的再照明方面取得了很大进展，但现有的方法仅限于2D图像，它们不适合在新颖表情和光照条件下生成动态渲染。这种局限性阻碍了游戏和电影制作更广泛地采用基于学习的虚拟化身，因为对于游戏和电影制作，角色和环境之间的一致性至关重要。
如果大家有印象，谷歌曾在一份研究论文中探索过类似的再照明解决方案。名为The Relightables的系统实现了三项创新。首先，包含的摄像头是用作深度传感器，能够捕获对象的12.4MP深度图；然后，团队创建了能够从捕获的数据中合成视频的几何和机器学习重建管道；最后，系统能够捕获与深度图时间同步的反射比图，从而允许操作员在AR或VR场景中操纵对象的照明，不再是原始工作室的照明条件。
在日前公布的一份名为《Deep Relightable Appearance Models for Animatable Faces》的论文中，Facebook Reality Labs和加州大学的研究人员同样探索了类似主题，并描述了一种Deep Relightable Appearance Models（DRAM）模型，通过基于学习的方法来建立再照明虚拟化身。
据介绍，所述方法支持在新的视点、新的表情下进行渲染，更重要的是，它可以在新的光照条件下进行渲染，从而能够重建复杂的视觉现象，如镜面反射、闪烁和次表面散射。团队根据光场的动态特性，并在稀疏的空间和时间复用光照模式下构建了可再照明模型。
团队的主要见解是，训练生成从单一光照方向照亮的图像的可再照明模型可以推广到自然光照条件，但渲染的计算成本很高。另一方面，用点光源数据训练的高效、高保真人脸模型不能推广到新的光照条件。所以，研究人员希望能够充分利用这两种方法的优势。
研究人员首先训练一个性能昂贵但可推广的点光照明模型，并利用它在自然光照条件下生成一组高质量的合成人脸图像。然后，在这个扩充的数据集上训练一个降低了泛化能力要求的有效模型。由于这种方法的有效性取决于可以生成的合成数据质量，所以团队提出了一种用于动态捕获的光照模式组合研究，并评估了它们对于学习可再照明模型的适用性。为了达到最好的质量，团队提出了一种新的方法来生成动态的可再照明的脸容。团队指出，所述方法能够捕捉到微妙的光照效果，甚至可以产生引人注目的近场再照明。
研究人员使用了变分自动编码器框架来训练模型。为了避免过度拟合捕捉过程中观察到的照明条件，团队利用光传输的加法特性，为场景中的每个照明生成表情和视图相关纹理，然后将纹理与强度定义的权重融合到最终的照明纹理中。由于照明信息是在解码器网络的后期提供，所以团队将这个模型称为late conditioned model。它提供了对完全看不见的照明环境的概括，包括远距离定向照明和真实环境映射，并且它展示了点光源的平滑插值（尽管在捕获期间使用了460个离散光集）。最后，它可以产生引人注目的近场照明效果，而这对于专门使用远距离光源数据的基学习方法来说尤其具有挑战性。
另外，early-conditioned model的主要缺点是对未知自然光照条件的外推性能较差。所以，团队使用late-conditioned DRAM在大量的自然光照条件下生成人脸的渲染，然后用它来训练一个有效的early-conditioned模型，从而避免了在测试期间对进行外推的需要。我们称这种模式为early-conditioned DRAM并为表示提出了一种超网络体系结构。它由两个部分组成，一个网络以所需的照明条件作为输入，并预测第二个网络的权重，生成与视图、表达式和照明相关的纹理。这样的设计进一步增加了网络的容量，并且在保持低计算成本的同时产生了更高质量的渲染。
值得一提的是，研究人员通过VR头显摄像头拍摄的图像来激发模型的实用性，并演示了首个使用真实感可再照明人脸模型的人脸驱动交互系统。
更多关于Deep Relightable Appearance Models的技术性说明和数据计算请参阅名为Deep Relightable Appearance Models for Animatable Faces的论文。
