CUBE360：基于立方场表示的全新全景深度估计方法，突破自监督学习限制
在任何视图方向进行连续深度估计
（映维网Nweon 2025年03月14日）全景图像提供了全面的场景信息。获取相应的深度图对于实现沉浸式和交互式体验至关重要。然而，由于等矩形投影（ERP）造成的严重失真和全景RGB-D数据集的有限可用性，全景深度估计面临着重大挑战。
受最近神经渲染成功的启发，中国科学技术大学和香港科技大学（广州）团队提出了一种全新的方法CUBE360。它从单个全景图像中学习由多个MPI组成的立方场，并用于在任何视图方向进行连续深度估计。
CUBE360采用立方体映射投影将ERP图像转换为六个面，并为每个面提取MPI，从而减少MPI处理高分辨率数据所需的内存消耗。另外，所述方法避免了处理等矩形投影所固有的不均匀像素分布的计算复杂性。然后，使用基于注意力的混合模块来学习立方面MIP之间的相关性，构建具有不同深度层次颜色和密度信息的立方场表示。
团队同时引入了一种新的采样策略，用于在立方体和平面尺度绘制立方体场的新视图。整个管道使用自监督学习方法中从渲染视图中计算的光度损失进行训练，从而可以通过没有深度注释的360视频进行训练。
......（全文 1616 字，剩余 1201 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
