ThinkX与MedicineX团队提出动态街景重建新方法GaussianMove

小编广东客 | 分类：论文 | 2025年6月26日

加入映维网会员

动态街道场景的精确重建

（映维网Nweon 2025年06月26日）动态街道场景的精确重建对于自增强现实和虚拟现实等应用至关重要。传统的方法依赖于密集的点云和三角形网格，难以应对移动物体、遮挡和实时处理的限制，限制了它们在复杂城市环境中的有效性。尽管多视图立体和神经辐射场带来了先进的3D重建技术，但它们在计算效率和处理场景动态方面面临挑战。

在一项研究中，ThinkX和MedicineX团队提出了一种新的动态街景重建的三维高斯点分布方法。他们引入了一种自适应透明机制，消除了移动物体，同时保留了高保真的静态场景细节。另外，高斯点分布的迭代细化提高了几何精度和纹理表示。研究人员将方向编码与空间位置优化相结合，以优化存储和渲染效率，在保持场景完整性的同时减少冗余。

实验结果表明，所提出方法具有较高的重建质量和较好的渲染性能，并能适应大规模动态环境。相关贡献为实时、高精度3D重建建立了一个强大的框架，推进了动态场景建模的实用性。

增强现实和虚拟现实技术的快速发展提高了对精确3D场景重建的需求。准确捕获和重建现实世界环境，特别是在复杂的城市环境中，对于增强交互体验和场景理解至关重要。高精度的三维街景重建通过提高动态环境下的感知和决策能力。

传统的3D街景重建方法主要依赖于密集的点云或三角形网格。它们从多个视点捕获的图像或光探测和测距（LiDAR）数据中提取特征，以生成密集的3D点云。尽管所述方法可以在静态环境中实现较高的重建精度，例如有效地建模建筑物，道路和树木，但它们在动态场景中面临重大挑战。

具体来说，移动的物体和场景变化是挑战，往往导致不准确的重建。密集点云方法的一个主要限制是它们假设场景保持静态。在动态环境中（持续的交通运动和不断变化的天气条件），传统方法无法区分静态背景和运动物体，导致错误地将车辆、行人或其他运动元素纳入重建模型。这导致了不现实的陈述，扭曲了整体场景，降低了可信度。

同样，尽管三角网格方法可以产生高质量的表面模型，但它们通常需要复杂的算法来分离运动物体和更新场景，这使得实时处理变得不切实际。相关限制突出了需要更先进的方法来提高动态街景重建的准确性、效率和可扩展性。

近年来，多视点立体（MVS）技术通过从多个视点拍摄的图像估计场景深度，从而产生密集的3D点云，在3D重建中发挥了至关重要的作用。

传统的MVS方法依靠图像配准和几何优化来提高重建精度和完整性。然而，随着场景复杂性和动态性的增加，MVS面临着快速运动和遮挡等挑战，限制了其在动态环境中的有效性。因此，深度学习纳入其中。例如，DeepMVS利用深度神经网络从图像中学习深度信息，提高对遮挡和光照变化的鲁棒性。然而，基于MVS的方法依然面临着持续的挑战，包括视点之间的不一致性、分离运动物体的困难以及高昂的计算成本。

相关问题在复杂和高度动态的街景环境中尤为突出，需要进一步改进。随着研究的进展，神经辐射场（NeRF）已成为多视图场景建模的一个有前途的替代方案。NeRF擅长于逼真的渲染，但依赖于高密度采样和复杂的神经网络推理，使得实时处理的计算成本很高。它在街景中捕捉精细几何细节和区分运动物体的能力依然有限。

传统的基于点云的表示，如显式网格和体像素化，提高了渲染效率，但它们往往依赖于稀疏的点云初始化，降低了它们在动态和复杂场景中的适应性。为了克服所述挑战，3DGS通过高斯分布表示场景，从而实现了渲染效率和几何细节保存之间的平衡。然而，3DGS依然无法解决在分离运动物体、优化存储要求和确保多视图一致性方面的挑战。

这凸显了需要进一步发展，以增强3DGS在现实世界动态环境中的适用性。在研究中，ThinkX和MedicineX团队提出了一种新的针对运动物体的GaussianMove，并用于高保真动态街景重建。所述方法通过增强高斯点的空间表示和编码机制，同时优化动态区域的透明度设置，有效地去除运动物体。实验结果表明，它在动态街道环境中具有较高的重建质量和渲染效率。

总的来说，团队提出了一种基于三维高斯点分布技术的动态街景重建方法。所述方法利用运动目标区域的自适应透明度优化、渐进式动态场景渲染框架以及新颖的高斯点编码和存储机制，实现了高保真动态场景重构和运动目标去除。

团队提出的解决方案通过自适应透明度优化，结合多视图一致性约束和高斯分布的固有特性，有效地减轻了运动物体的干扰。这允许对背景和静态场景元素进行精确建模。同时，渐进式动态场景渲染框架通过增量调整高斯点分布和透明度设置，优化了移动物体的去除，增强了静态场景的细节。

采用新颖的高斯点编码和存储机制，结合方向编码和空间位置优化，这显著降低了冗余和存储需求，保证了大规模动态场景的高效渲染性能和几何完整性。