德国团队研发雷达图像3D人脸重建技术，毫米波突破光学建模局限
根据雷达图像进行3D人脸重建
（映维网Nweon 2025年04月30日）人脸的3D重建在计算机视觉中得到了广泛的关注，并正应用于虚拟现实等领域。由于其独特的特性，雷达领域的传感器与光学传感器相比具有优势，即穿透非导电材料和光的独立性。
在一项研究中，德国埃尔朗根-纽伦堡大学团队提出了一种基于模型的雷达图像三维重建方法。他们使用基于物理但不可微分的雷达渲染器生成合成雷达图像的数据集，而数据集用于训练基于CNN的编码器来估计三维变形人脸模型的参数。
尽管编码器本身已经带来了合成数据的强大重建，但研究人员以综合分析的方式将重建扩展到基于模型的自动编码器。这是通过学习解码器中的渲染过程来实现，其中解码器充当对象特定的可微分雷达渲染器。
随后，对两个网络部分的组合进行训练，以最小化两者，即参数的损失和最终重建雷达图像的损失。
这带来了额外的好处，在测试时，可以通过对图像损失进行无监督的自编码器微调来进一步优化参数。团队在生成的合成人脸图像和真实的雷达图像评估了框架，并证明了方法的有效性。
在过去的数年中，使用光学传感器以外的替代捕获系统重建人体已经成为一个越来越多的研究领域，包括人脸重建。其中，毫米波雷达日益引起人们的兴趣，因为它比其他方法具有显著的优势。
然而，由于人脸形状的多样性，准确地重建人脸是一个挑战。人脸雷达重建面临的一个重大挑战是雷达系统的视角与被捕获人脸的依赖关系，因为反射信号依赖于表面法线。所以，并非面部的所有部分在雷达图像中都可见，而这使得它们模糊不清。
在研究中，德国埃尔朗根-纽伦堡大学团队提出了一种基于学习的方法，利用三维变形人脸模型（3DMM）从雷达图像中重建三维人脸。为此，他们从BFM构建的人脸生成合成雷达图像数据集。给定数据，研究人员训练了两种架构：一种是训练完全监督的编码器，另一种是将预训练的编码器与学习的可微分渲染器相结合的自编码器，从而对网络施加额外的监督形式，并在测试时实现优化。
对于雷达成像设置，使用图1所示的多输入多输出步进频率连续波雷达系统捕获真实雷达图像。系统由94个接收天线和94个发射天线组成，呈方形放置。雷达系统以128个等距步骤使用72 GHz到82 GHz的频率。雷达系统的空间分辨率在x和y方向约为4mm，在z方向约为11mm。
被捕获者的面部位于距离雷达天线25厘米的位置。人的身后是泡沫墙，这可以最大限度地减少雷达信号在人身后的反射。孔径范围约为14cm × 14cm，天线间距为3mm。
雷达系统接收到的雷达信号使用最先进的3D毫米波图像处理方法进行重建，即反向投影。在反投影过程中，对于每个RX和TX天线组合，将接收到的信号与信号假设之间的相关性求和为一个三维体素网格。
随后，通过沿z轴的最大投影从3D体素网格中提取2D数组，并且由于其范围超过几个数量级，因此值按对数缩放。接下来，限制动态范围θ，以消除雷达信号引起的噪点。
在实验中，为解码器使用-15 dB的动态范围，但从编码器训练的值范围中采样。然后，将得到的数据的范围线性缩放到[0,1]范围，将其转换为雷达图像。
在捕获雷达信号的同时，利用光学摄像头通过摄影测量重建人脸。一旦面部的3D重建完成，它们就会用于雷达模拟，从而产生真实面部的合成版本。所得图像可用于雷达模拟的质量比较。捕获设置配置如图1所示。
真实图像与摄影测量网格合成的幅值图像对比如图2所示。为了在真实数据评估方法，团队重建了四个白皙皮肤的欧洲男性个体的真实雷达图像，并从相应的摄影测量网格中生成合成雷达图像。
然后，使用基于雷达信号生成的深度图像作为附加输入。每个像素的深度是从体素网格的每个深度切片上最亮的散射体计算出来。在实验中，深度图像用作真实图像的替代，并与真实图像一起作为模型的输入。
团队在生成的合成人脸图像和真实的雷达图像评估了框架，并证明了方法的有效性。
总的来说，团队提出了一种基于雷达图像和BFM的人脸重建方法。他们基于BFM 2019创建的网格从基于物理的雷达模拟器生成了10,000张合成雷达图像的数据集，并训练了三个完全监督的CNN模型来重现ground truth参数。
在此基础上，利用学习后的渲染器对人脸模型参数和姿态组合得到的雷达图像进行渲染训练。这个学习的渲染器用于生成接近真实数据外观的代表性图像，但速度明显更快（超过2000倍）并且完全可微。
尽管仅给定雷达数据的人脸重建仍然具有挑战性，但团队证明，与全监督训练方法相比，联合训练过程提高了重建质量。在合成数据上，在不应用姿态的情况下实现面部网格的平均欧几里得三维点距离为2.56 mm。另外，定性结果在视觉上与ground truth相似。
