法国研究员介绍可泛化人类特征的NeRF新框架HFNeRF

小编广东客 | 分类：论文 | 2024年9月4日

加入映维网会员

HFNeRF在预测人类特征方面是有效，比以前的人类NeRF方法有了显著的改进

（映维网Nweon 2024年09月04日）在新视图合成的最新进展中，NeRF在从少量图像生成新视图方面显示出显着的结果。然而，这种泛化能力不能捕获跨所有实例共享的骨架的底层结构特征。在相关基础之上，法国蔚蓝海岸大学团队介绍了一种可泛化人类特征的NeRF：HFNeRF，并旨在利用预训练的图像编码器生成人类生物力学特征。

尽管以前的方法在生成逼真虚拟化身方面显示出有希望的结果，但它们缺乏底下的人类结构或生物力学特征，如骨骼或关节信息，而这对AR/VR等下游应用至关重要。HFNeRF利用2D预训练的基础模型，并使用神经渲染来学习3D中的人类特征，然后使用体渲染来生成2D特征图。

团队通过预测热图作为特征来评估骨架估计任务中的HFNeRF。实验显示，所提出的方法完全可微，能够同时成功地学习颜色、几何和人体骨骼。这说明了在使用NeRF生成具有生物力学特征的逼真虚拟化身方面的潜力。