Meta研究两步合成分析方法估计Avatar高分辨率人脸纹理
重建面部
（映维网Nweon 2023年04月18日）近年来，虚拟现实和混合现实取得了巨大的进展，而这导致了行业对创建Avatar和人脸逼真渲染的巨大兴趣。特别是，硬件的普及将为游戏、其他家庭娱乐应用或沉浸式电话会议系统的asset创建开辟巨大潜力。
然而，在照明条件变化的情况下，从任意视点逼真地渲染人脸是一个极其困难的问题。它涉及面部几何形状和皮肤纹理的精确重建，如漫反射率、镜面增益或皮肤粗糙度。传统上，这个问题需要在专家监督下，并通过昂贵且经过仔细校准的捕获装置记录数据来解决。
在名为《High-Res Facial Appearance Capture from Polarized Smartphone Images》的论文中，由慕尼黑工业大学、马克斯·普朗克智能系统研究所、以及Meta的研究人员希望简化这一捕获过程，允许个人用户能够重建自己的面部，同时将与光照阶段相比的质量下降减至最低。
人脸的几何形状和材质的解开是一个极其不适定的问题。目前的解决方案包括一种具有多个摄像头和光源，并具有毫米精度的校准的捕获抓给你之。将面部皮肤表面与皮下响应分离的一种常见方法是，将偏振滤光片与这种昂贵的捕获装置结合使用。给定这样一个精心校准的捕获装置，可以使用可微分渲染来估计分析合成方法中的单个皮肤参数。
尽管所述方法确实产生了令人印象深刻的结果，但它们仅限于高预算的制作工作室。在研究中，团队提出了一种仅由智能手机和廉价偏振箔组成的捕获装置。其中，用户捕捉两个人脸序列，一个是垂直对齐，另一个是平行对齐。这允许进行两阶段优化，首先从交叉偏振捕获中重建用户面部的高分辨率漫反照率纹理，然后从平行偏振视图中恢复镜面反照率、法线图和粗糙度。
数据是在暗室中捕获，从而避免需要预先计算环境映射。除了视觉上引人注目的新颖视图合成和重新照明结果外，所述方法同时可以生成可编辑的纹理和面部几何图形。
......（全文 3372 字，剩余 2699 字）
