美国团队探索结合3D人脸重建提升面部表情推理性能

小编 ovaliu | 分类：论文 | 2025年2月11日

加入映维网会员

将三维人脸表征集成到面部表情推理

（映维网Nweon 2025年02月11日）能够利用单个图像的面部几何图形重建3D人脸，使得虚拟现实等领域取得了重大进展。然而，纽约州立大学布法罗分校团队认为面部表情推理（FEI）社区并没有充分探索这种用3D特征表示人脸的能力。所以在一项研究中，团队旨在探讨将这种3D表征整合到FEI任务中的影响，特别是对面部表情分类和基于面部的价觉醒（VA）估计的影响。

为了实现这一点，研究人员首先评估了两种3D人脸表示（都基于3D变形模型FLAME）在FEI任务中的性能。他们进一步探索了两种融合架构，中间融合和后期融合，以用于将3D人脸表示与现有的2D推理框架集成在一起。

为了评估所提出的架构，他们提取了相应的3D表示，并在AffectNet和RAF-DB数据集进行了广泛的测试。实验结果表明，所述方法优于最先进的AffectNet VA估计和RAF-DB分类任务。另外，这个解决方案可以作为其他现有方法的补充，以提高一系列情感推理任务的性能。