俄罗斯开发无人机与NeRF结合的快速3D人体重建系统
要使用所提出方法创建数字化身，需要具有能够支持NeRF训练的GPU，无人机和至少2 × 2米的开放空间。
（映维网Nweon 2025年01月08日）在快速发展的数字内容创作领域，对制作详细人体3D重建的快速、方便和自主方法需求显著增长。为了满足这一迫切需求，俄罗斯斯科尔科沃科学技术研究院提出了一个AirNeRF系统，从而为创建逼真3D人体Avatar提供了创新途径。
所述方法利用神经辐射场（NeRF）和基于无人机的自动视频捕获方法。所获得的数据提供了一个快速和精确的方法来创建高质量的人体重建。从系统中衍生的rigged网格证明是动态人类自由视角合成的优秀基础，特别适合虚拟现实中的沉浸式体验。
创建详细的人体3D重建是一个具有挑战性的主题，其中高保真的人体娱乐通常涉及预录制的模板和多摄像头系统。然而，相关需求已经超出了一般用途的应用场景，包括AR/VR, 元宇宙和虚拟试装等等。
所以，从视频片段或图像集直接重建高保真数字Avatar具有重要的实际意义。
诸如如摄影测量等经典方法已用于3D对象重建，从不同的角度生成场景的密集点云。然而，它们需要昂贵的设备，较长的安装时间，并且在测量非均匀表面和产生详细重建时存在局限性。由于纹理变化，反射和透明物体可能具有挑战性。
最近，由于NeRF方法的进步，3D重建的质量得到了改善。在研究中，俄罗斯斯科尔科沃科学技术研究院团队探讨了所述技术在3D人体重建中的潜在应用。
他们提出了AirNeRF，一种旨在为VR应用创建逼真个性化数字Avatar的新方法。它主要结合了基于无人机的成像，基于NeRF的视图合成，3D点云驱动的网格创建，分割和自动rigging来利用数据收集方面的进步。
要使用所提出方法创建数字化身，需要具有能够支持NeRF训练的GPU，无人机和至少2 × 2米的开放空间。
通过这个管道，研究人员旨在解决个性化Avatar的需求，潜在地增强虚拟现实环境中的交互。
相关系统利用单个无人机来捕获视觉数据，以构建逼真的3D人类化身。为了确保通过无人机进行准确的三维Avatar重建和自主扫描，需要精确的定位技术。尽管可以使用机载传感器，但团队采用了Vicon V5追踪系统来提高精度。
动捕系统由14个红外摄像头组成，用于探测放置在无人机的反向反射标记。追踪系统利用标记的位置信息对无人机进行高精度三角定位。Vicon追踪系统允许无人机的位置以高更新率确定，允许安全和无碰撞的摄像头捕获，同时保持与人一米的距离。在系统中，系统的刷新率设置为100hz。
作为系统的一个重要组成，NeRF模型配置的选择在实现最佳结果方面起着至关重要的作用。在不同的NeRF模型中，Nerfacto因其快速的处理时间和高质量的重建结果而成为首选。
Nerfacto处理复杂空间模式的独特能力与团队制作详细人类3D重建的目标无缝一致。在训练阶段，模型经历了30000次迭代。这种方法确保了对复杂特征的稳健学习，并使得能够实现高质量3D重建的快速自主生成，平均训练过程在6分钟内完成。
相关论文：AirNeRF: 3D Reconstruction of Human with Drone and NeRF for Future Communication Systems
总的来说，AirNeRF是一种利用NeRF和无人机动捕来生成数字人类化身的新系统。实验结果展示了系统可以从轻型无人机镜头中为3D引擎生成完全准备好的Avatar。
具体来说，最终的Avatar包括22个关节，三角形数量从大约36,000到51,000不等，满足现代3D引擎的要求。FBX格式的角色文件大小在轻量级范围内，约为3mb，这使得它们很容易集成到各种流行的游戏引擎中。
对于VR/AR领域，这可以通过降低Avatar创建的门槛来增强用户体验，同时保持逼真外观和正确比例。在进一步的研究中，开发小组将专注于通过实现高斯飞溅网格重建管道来增强系统的可能性。
