Facebook研究根据不同视点、光照动态渲染VR化身，让虚拟角色更逼真
对于游戏和电影制作，角色和环境之间的一致性至关重要
（映维网 2021年05月27日）近年来，虚拟化身创作在使用基于学习的技术方面有了显著的增长。传统的物理启发方法需要精确的几何结构和反射率，而这通常需要昂贵且耗时的手动处理。相比之下，基于学习的方法利用深度神经网络形式的通用函数逼近器来忠实地模拟人脸外观。它们可以通过完全自动化的管道来实现令人印象深刻的真实感，不依赖于对面部几何和材质属性的精确估计。它们同时能够在VR等要求苛刻的应用中实现实时生成和渲染。
尽管存在众多优点，但迄今为止，使用基于学习的技术来创建虚拟化身仅限于单一的照明条件。尽管在基于学习的再照明方面取得了很大进展，但现有的方法仅限于2D图像，它们不适合在新颖表情和光照条件下生成动态渲染。这种局限性阻碍了游戏和电影制作更广泛地采用基于学习的虚拟化身，因为对于游戏和电影制作，角色和环境之间的一致性至关重要。
如果大家有印象，谷歌曾在一份研究论文中探索过类似的再照明解决方案。名为The Relightables的系统实现了三项创新。首先，包含的摄像头是用作深度传感器，能够捕获对象的12.4MP深度图；然后，团队创建了能够从捕获的数据中合成视频的几何和机器学习重建管道；最后，系统能够捕获与深度图时间同步的反射比图，从而允许操作员在AR或VR场景中操纵对象的照明，不再是原始工作室的照明条件。
在日前公布的一份名为《Deep Relightable Appearance Models for Animatable Faces》的论文中，Facebook Reality Labs和加州大学的研究人员同样探索了类似主题，并描述了一种Deep Relightable Appearance Models（DRAM）模型，通过基于学习的方法来建立再照明虚拟化身。
据介绍，所述方法支持在新的视点、新的表情下进行渲染，更重要的是，它可以在新的光照条件下进行渲染，从而能够重建复杂的视觉现象，如镜面反射、闪烁和次表面散射。团队根据光场的动态特性，并在稀疏的空间和时间复用光照模式下构建了可再照明模型。
团队的主要见解是，训练生成从单一光照方向照亮的图像的可再照明模型可以推广到自然光照条件，但渲染的计算成本很高。另一方面，用点光源数据训练的高效、高保真人脸模型不能推广到新的光照条件。所以，研究人员希望能够充分利用这两种方法的优势。
研究人员首先训练一个性能昂贵但可推广的点光照明模型，并利用它在自然光照条件下生成一组高质量的合成人脸图像。然后，在这个扩充的数据集上训练一个降低了泛化能力要求的有效模型。由于这种方法的有效性取决于可以生成的合成数据质量，所以团队提出了一种用于动态捕获的光照模式组合研究，并评估了它们对于学习可再照明模型的适用性。为了达到最好的质量，团队提出了一种新的方法来生成动态的可再照明的脸容。团队指出，所述方法能够捕捉到微妙的光照效果，甚至可以产生引人注目的近场再照明。
......（全文 1601 字，剩余 545 字）
