微软、中科大提出基于交叉多平面一致性的few shot新视图合成技术
微软和中国科学技术大学
（映维网Nweon 2024年10月14日）神经辐射场NeRF在新颖视图合成中显示出令人印象深刻的结果，由于其连续表示场景的能力，这在在AR和VR中尤为突出。然而，当只有少数输入视图图像可用时，NeRF倾向于过度拟合给定视图，从而使估计的像素深度共享几乎相同的值。
与之前通过引入复杂先验或额外监督来进行正则化的方法不同，微软和中国科学科技大学提出了一种简单而有效的方法：在输入视图之间显式构建深度感知一致性来应对这一挑战。
团队的关键见解是，通过强制在不同的输入视图中重复采样相同的空间点，能够加强视图之间的相互作用，从而缓解过拟合问题。
为了实现这一点，研究人员在分层表示构建神经网络，所以采样点可以在多个离散平面重新采样。另外，为了正则化未见过的目标视图，团队将来自不同输入视图的渲染颜色和深度约束为相同。尽管简单，但大量的实验表明，所提出的方法可以比最先进方法获得更好的合成质量。
......（全文 1407 字，剩余 1037 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
