法国研究员介绍可泛化人类特征的NeRF新框架HFNeRF
HFNeRF在预测人类特征方面是有效，比以前的人类NeRF方法有了显著的改进
（映维网Nweon 2024年09月04日）在新视图合成的最新进展中，NeRF在从少量图像生成新视图方面显示出显着的结果。然而，这种泛化能力不能捕获跨所有实例共享的骨架的底层结构特征。在相关基础之上，法国蔚蓝海岸大学团队介绍了一种可泛化人类特征的NeRF：HFNeRF，并旨在利用预训练的图像编码器生成人类生物力学特征。
尽管以前的方法在生成逼真虚拟化身方面显示出有希望的结果，但它们缺乏底下的人类结构或生物力学特征，如骨骼或关节信息，而这对AR/VR等下游应用至关重要。HFNeRF利用2D预训练的基础模型，并使用神经渲染来学习3D中的人类特征，然后使用体渲染来生成2D特征图。
团队通过预测热图作为特征来评估骨架估计任务中的HFNeRF。实验显示，所提出的方法完全可微，能够同时成功地学习颜色、几何和人体骨骼。这说明了在使用NeRF生成具有生物力学特征的逼真虚拟化身方面的潜力。
开发能够实现图片真实感的自定义虚拟化身对于AR/VR环境至关重要。另外，从智能手机或单个摄像头拍摄的稀疏图像中创建逼真的虚拟人类化身是一个重大挑战。以前，创建具有底层结构（如骨架）的个性化虚拟化身需要使用昂贵的摄影设置，而且只能在有限的人群中使用。
另外，身体标记捕获、提取和参数模型拟合的劳动密集型过程，不具有可扩展性，无法广泛应用。NeRF的最新进展在使用少量图像创建高度逼真的虚拟化身方面显示出了巨大的潜力。
然而，以前基于NeRF的方法不提供任何底层结构，而它们对AR/VR应用和动画至关重要。针对这个问题，法国蔚蓝海岸大学团队提出了一种全新的方法HFNeRF。
这是一个使用NeRF学习人体骨骼等生物力学特征的统一框架。受先前基于NeRF的方法的启发，团队利用2D编码器并通过调节输入图像或学习场景特征来泛化NeRF。
所述方法使用一个2D预训练编码器来学习使用NeRF架构的人体特征。具体来说，HFNeRF预测人体关节的热图特征，从而帮助骨骼检测。
尽管研究主要关注骨骼检测，但架构同时适用于其他生物力学特性，如身体部位分割。研究人员的方法采用两种不同类型的编码器从图像中生成特征。HFNeRF估计每个关节对应的单独热图以及颜色和体积密度。
他们的NeRF模型将3D查询点x的图像特征及其频率编码和视图方向作为输入。最终的热图是使用受NeRF像素颜色生成过程启发的体渲染生成。
团队在RenderPeople数据集训练模型，其中所述数据集由动画角色执行各种动作的多视图图像序列组成。他们使用34台摄像机进行训练，2台摄像机进行测试。
所有实验都是在RTX 3090 GPU使用PyTorch实现进行。λh的值设置为0.5，而他们使用Adam优化器进行100,000次迭代。然后，研究人员通过提取OpenPose来学习热图特征。
RenderPeople数据集的定量结果总结在表1中。预测的和真实的热图与均方误差进行比较，结果表明，ResNet特征可以提高视觉质量，而基于Vision Transformer的DINO特征可以更好地预测热图。
图2直观地展示了相关发现：
在未来，团队计划扩展实验以涵盖各种数据集，并与其他方法进行额外的比较。
相关论文：HFNeRF: Learning Human Biomechanic Features with Neural Radiance Fields
总的来说，团队提出了一个名为HFNeRF的新框架，并利用NeRF来学习人体生物力学特征。初步研究结果表明HFNeRF在预测人类特征方面是有效，比以前的人类NeRF方法有了显著的改进。另外，尽管研究重点是人体骨骼检测，但团队相信这种架构可以扩展到其他可推广的人体特征，如身体部位检测。
