麻省理工创新3D扫描技术，模糊激光雷达联合RGB攻克弱光环境重建难题
在具有挑战性的环境中实现具有准确颜色和几何估计的鲁棒3D扫描
（映维网Nweon 2025年04月29日）三维表面重建在虚拟现实等应用中十分重要。然而，在低纹理、低光照和低反照率的场景中，基于RGB的重建往往失败。激光雷达现在十分常见，但有限的输入视图难以覆盖所有场景。
在一项研究中，麻省理工学院团队提出使用发出漫射闪光的“模糊”激光雷达，以大大提高场景覆盖范围。但它会在宽视场范围内引入混合飞行时间测量的空间模糊性，所以为了处理歧义，可以利用漫射激光雷达与RGB的互补优势。
研究人员引入了一个基于高斯曲面的渲染框架，它具有场景自适应损失函数，可以动态平衡RGB和漫射激光雷达信号。实验证明，漫射激光雷达可以优于传统方案，并在具有挑战性的环境中实现具有准确颜色和几何估计的鲁棒3D扫描。
3D重建在虚拟现实等应用中变得越来越重要，而我们希望拥有紧凑、低带宽和低成本的捕获硬件。然而，3D重建必须对具有挑战性的条件具有鲁棒性，例如低纹理，低反照率，以及低光照。
尽管近来的研究已经广泛地探索了RGB的3D重建，但相关方法很难在具有挑战性的低纹理、反照率和照明设置中实现稳健的性能。例如，神经辐射场NeRF方面的研究已经在理想环境下实现了高保真的新视图合成。然而，NeRF和高斯飞溅主要依赖于RGB图像的多视图外观变化，但在低纹理、低光照或低反照率的场景中，这种图像缺乏深度信息。
在研究中，麻省理工学院团队提出将RGB与非常规但广泛使用的传感器模式融合，亦即漫射激光雷达，以在具有挑战性的场景条件下进行稳健的3D扫描。
为了在具有挑战性的环境中改善重建，激光雷达通常与RGB一起使用，以增强NeRF和其他3D重建技术的深度估计。在扫描中，这是通过在场景中投射粗略网格点并估计位置的精确深度来实现。
深度值可以直接监督重建模型。由于稀疏激光雷达与主动照明相结合，即便在低信噪比条件下（如低照明），它们都能提供高信噪比（SNR），使其对紧凑的扫描设置有效。不过，稀疏激光雷达有一个关键的限制：每次测量只捕获单个深度点的粗略网格，导致场景覆盖率差，所以需要多次捕获才能充分理解深度。
这种深度精度和稀疏覆盖之间的权衡可能会限制其效用。
麻省理工学院团队探索了一种漫射激光雷达方案。当与RGB配对时，它可以在低纹理、低光和低反照率等具有挑战性的条件下增强稀疏激光雷达的3D重建。
稀疏激光雷达投射单个点来测量点的深度，而激光雷达发射的是漫射闪光。然后，每个漫射激光雷达像素捕获宽视场，并造成空间模糊测量。然而，这种较低的深度精度带来了更高的场景覆盖率。
团队的关键见解是，尽管漫射激光雷达的测量结果在空间上是模糊的，但它们可以在合成分析框架中加以利用，以恢复深度，从而显著改善场景重建。
当然，需要一种全新的监督策略来将漫射激光雷达与RGB相结合进行重建。与稀疏激光雷达不同，从空间模糊的深度信号中进行直接的点对深度监督并不可行。因此，研究人员提出了一种场景自适应损失，动态平衡RGB和漫射激光雷达信号。
通过使用场景自适应损失函数，可以在高纹理、高信噪比设置中动态利用RGB信号，并在低纹理、低信噪比区域逐渐弱化RGB并优先考虑漫射激光雷达信号。
模拟实验的定量和定性结果显示，所述技术有效地结合了漫射激光雷达和RGB。与基线相比，它增强了颜色和几何形状，特别是在RGB与稀疏激光雷达的对比中。在全纹理场景中，场景自适应损失能够更高地依赖RGB，漫射激光雷达则有助于在视场有限的外围区域进行深度估计。
相关论文：Blurred LiDAR for Sharper 3D: Robust Handheld 3D Scanning with Diffuse LiDAR and RGB
总的来说，团队展示了如何利用RGB和模糊激光雷达传感器的互补优势，在低纹理、低光和低反照率环境中进行稳健的3D扫描。
可恢复性分析、定量评估和定性现实世界实验证明，漫射激光雷达可以在具有挑战性的环境中实现更强大的3D扫描。在这个方向上的未来研究可以探索漫射激光雷达在关节姿态和3D估计中的作用，并分析对其他场景的鲁棒性。
团队指出，所提出的重建技术在AR/VR等领域具有鲁棒3D扫描的潜力，并相信这项研究可以释放将非常规但广泛使用的传感器与RGB相结合的潜力，以实现强大的3D视觉。
