多特征平衡网络MDBNet为VR/AR环境构建提供更鲁棒的3D场景理解方案
语义场景补全
(映维网Nweon 2025年04月30日)语义场景补全(Semantic Scene Completion/SSC)是计算机视觉中的一项关键任务,在虚拟现实等应用中得到了广泛应用。
SSC旨在通过将单个2D图像转换为3D表示,为每个体素分配语义标签,从局部视图构建详细的3D模型。这个任务的主要挑战在于以有限的信息补全3D体三维。为了解决这个问题,英国南安普顿大学和沙特伊玛目穆罕默德·本·沙特伊斯兰大学团队提出了多特征数据平衡网络(MDBNet)。
这是一个用于RGB和深度数据(F-TSDF)输入的dual-head模型。所提出的混合编码器-解码器架构能够有效地管理F-TSDF中的各种信号。研究人员评估了RGB特征融合策略,并对2D RGB特征使用组合损失函数交叉熵,对3D SSC预测使用加权交叉熵。
在NYU数据集的测试表明,MDBNet的结果超过了可比较的最先进(SOTA)方法,并证明了方法的有效性。
......(全文 1476 字,剩余 1172 字)
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限