Facebook FRL提出逆向绘制重建，实现虚拟化身头发照片级真实感
帮助实现数字人类头发的照片级真实感绘制
（映维网 2021年08月16日）随着增强现实技术和虚拟现实技术的出现，创造逼真数字人类越来越受到计算机视觉和图形学界的重视。逆向绘制（Inverse rendering）是一种可以减轻3D美术建模高保真数字人类的工作量的广泛应用技术。对于数字人类逆向绘制，已经有数种成功的方法来构建产生多视点光度数据的捕获系统（多视点光度数据是从不同视点和不同光照条件下拍摄的一组图像）。对于所述图像，逆向绘制框架能够重建人体皮肤的详细几何结构和复杂材质外观，例如镜面反射和次表面散射。尽管以往的数字人类研究在人脸和身体方面取得了进步，但头发则不然。
由于本身的特点（微小尺度的几何结构和大量的发束，对高保真头发数据的逆向绘制依然是一个有待解决的问题。在名为《Human Hair Inverse Rendering using Multi-View Photometric data》中，Facebook Reality Labs和加州大学的研究人员提出了一个新的逆向绘制框架来重建头发的细节几何及其反射，从而帮助实现数字人类头发的照片级真实感绘制。
参考最近数字人类逆向绘制研究的成功，团队采用了多视图光度数据。作为第一阶段，研究人员以发束级别精度重建头发几何。传统的多视角立体技术在这个阶段失败，因为它们是设计用来重建三维表面，而不是三维发束。主要的挑战是在视图中寻找像素级的对应关系。有人曾提出一种基于线的多视图立体算法，亦即从多视图图像重建三维线云。然而，所述方法需要密集的摄像头（一个半球需要70个摄像头），并且依赖于启发式方法来匹配和选择视图。
Facebook和加州大学团队提出了一种基于线的多视图立体解决方案。与之前的研究相比，它可以从更少的视图中获得更密集的重构线。研究人员设计了一个能够充分利用光度数据的匹配成本函数，并提出了光码（lightcode，它存储关于一小段头发是否能被每种光照亮的信息）。利用光码，团队有效地解决了头发对应问题以及每像素视图选择问题。
使用重建的头发几何，团队在第二阶段使用光度数据估计反射属性。估计头发的反射率是一个挑战，因为头发的整体外观是光线与约80微米厚的每根头发纤维的聚合多重交互结果。每一种纤维都表现出高度的各向异性和复杂的光散射模式。为了估计发丝的全反射特性，团队需要一个高度复杂和精密的显微镜捕捉系统。所以，研究人员提出了一个实用的解决方案，通过一个简单的头发反射模型和拟合参数来利用重建的几何和照明信息。
团队提出的头发逆向绘制管道如图2所示。所述框架的输入是多视图光度数据，即从不同视点和不同照明条件拍摄的一组图像。团队假设Nc camera指向被摄体，并且存在Nl点光源（Nl）≥ Nc）。团队同时假设每个camera都有一个共同的光源。在每个光源（和额外的均匀照明）下，所有camera捕获Nc×（Nl+1）图像，然后团队首先使用多视图光度立体理论重建一组密集的发束，然后使用推断的几何体估计发束的反射特性。
......（全文 2156 字，剩余 1115 字）
