研究员展示NeRF如何表示动态场景，从2D图像学习4D表示

查看引用/信息源请点击：mixed-news

展示了NeRF如何表示动态场景，并从2D图像中学习4D表示

（映维网Nweon 2022年11月29日）将场景表示为神经辐射场（NeRF）在3D重建和分析方面带来了一系列突破，只需数秒钟的训练就可以获得真实世界场景的高保真实时渲染。尽管NeRF在静态场景中取得了成果，但将其扩展到动态场景依然具有挑战性。

将额外的时间维度t引入NeRF的5D表示并不简单。首先，时空点（x，y，z，t）的监控信号比静态点（x、y，z）稀疏。静态场景的多视图图像容易访问，因为你可以移动摄像头，但动态场景中的额外视图需要额外的记录摄像头，从而导致稀疏的输入视图；然后，场景的外观和几何频率沿空间轴和时间轴不同。当从一个位置移动到另一个位置时，内容通常会发生相当大的变化，但背景场景不太可能从一个时间戳完全改变到另一时间戳。时间t维度的频率建模不当导致时间插值性能不佳。

在一篇新的研究论文中，来自布法罗大学、苏黎世联邦理工大学、图宾根大学和InnoPeak Technology的团队展示了NeRF如何表示动态场景，并从2D图像中学习4D表示。

他们假设动态场景中有三种时间模式：Static静态、Deforming变形和New新区域，并建议将动态场景分解为所述类别，具体是通过预测Static、Deforming和New区域的逐点概率的分解场。分解场通过手动指定的全局简约正则化行自我监督和正则化。

......（全文 1058 字，剩余 589 字）

请微信扫码通过小程序阅读完整文章
或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限