研究员展示NeRF如何表示动态场景，从2D图像学习4D表示

编辑：广东客 | 分类：论文 | 2022年11月29日

展示了NeRF如何表示动态场景，并从2D图像中学习4D表示

（映维网Nweon 2022年11月29日）将场景表示为神经辐射场（NeRF）在3D重建和分析方面带来了一系列突破，只需数秒钟的训练就可以获得真实世界场景的高保真实时渲染。尽管NeRF在静态场景中取得了成果，但将其扩展到动态场景依然具有挑战性。

将额外的时间维度t引入NeRF的5D表示并不简单。首先，时空点（x，y，z，t）的监控信号比静态点（x、y，z）稀疏。静态场景的多视图图像容易访问，因为你可以移动摄像头，但动态场景中的额外视图需要额外的记录摄像头，从而导致稀疏的输入视图；然后，场景的外观和几何频率沿空间轴和时间轴不同。当从一个位置移动到另一个位置时，内容通常会发生相当大的变化，但背景场景不太可能从一个时间戳完全改变到另一时间戳。时间t维度的频率建模不当导致时间插值性能不佳。

在一篇新的研究论文中，来自布法罗大学、苏黎世联邦理工大学、图宾根大学和InnoPeak Technology的团队展示了NeRF如何表示动态场景，并从2D图像中学习4D表示。

他们假设动态场景中有三种时间模式：Static静态、Deforming变形和New新区域，并建议将动态场景分解为所述类别，具体是通过预测Static、Deforming和New区域的逐点概率的分解场。分解场通过手动指定的全局简约正则化行自我监督和正则化。

这种分解可以解决前文所述两个挑战。首先，为每个分解区域引入不同的时间正则化，从而减轻稀疏观测重建中的模糊性。例如，静态区域分解将动态建模简化为静态场景建模问题。变形区域强制前景对象在动态场景中保持一致。其次，根据场景的时间特征将其划分为不同的区域，从而在每个区域的时间维度上产生一致的频率。

......（全文 1067 字，剩余 454 字）

wx_mp