密歇根大学团队提出SAM引导的3D语义分割跨域自适应方法
所提出方法显著增加了高质量伪标签的数量，并且比基线方法提高了自适应性能
（映维网Nweon 2025年05月29日）多模态3D语义分割对于虚拟现实等应用至关重要。为了在现实场景中有效地部署模型，必须采用跨领域适应技术，以弥合训练数据和现实数据之间的差距。近年来，基于伪标签的自训练方法已成为多模态三维语义分割中跨域自适应的主要方法。然而，生成可靠的伪标签需要严格的约束，这通常会导致修剪后的伪标签稀疏，而这种稀疏性可能会在适应过程中阻碍性能改进。
在一项研究中，密歇根大学团队提出了一种图像引导的伪标签增强方法。利用来自Segment Anything Model（SAM）的互补2D先验知识引入更可靠的伪标签，从而提高域自适应性能。
具体来说，给定一个3D点云和配对图像数据中的SAM掩码，收集每个SAM掩码覆盖的所有可能属于同一对象的3D点。然后，分两步对每个SAM掩码中的伪标签进行细化。首先，使用多数投票确定每个掩码的类标签，并使用各种约束来过滤掉不可靠的掩码标签。
接下来，引入几何感知渐进传播GAPP，将掩码标签传播到SAM掩码内的所有3D点，同时避免了2D-3D不对齐造成的异常值。
......（全文 1485 字，剩余 1068 字）
请微信扫码通过小程序阅读完整文章或者登入网站阅读完整文章
映维网会员可直接登入网站阅读
PICO员工可联系映维网免费获取权限
