SIGGRAPH最佳论文：CAST实现单张RGB图像重建高质量3D场景

小编广东客 | 分类：论文 | 2025年6月24日

加入映维网会员

从单张RGB图像重建高质量3D场景

（映维网Nweon 2025年06月24日）在计算机图形学中，从单个RGB图像中恢复高质量的3D场景是一项具有挑战性的任务。在一项研究中，上海科技大学和华中科技大学团队提出了一种用于3D场景重建和恢复的新方法：CAST（Component-Aligned 3D Scene Reconstruction from a Single RGB Image）。

CAST首先从输入图像中提取物体级2D分割和相对深度信息，然后使用基于GPT的模型分析物体间的空间关系，从而确保更连贯的重建。然后，CAST采用一个能够感知遮挡的大规模3D生成模型来独立生成每个物体的完整几何形状，并使用MAE和点云调节来减轻遮挡和部分物体信息的影响，确保与源图像的几何形状和纹理精确对齐。

为了使每个物体与场景对齐，对齐生成模型计算必要的转换，允许生成的网格被精确地放置并集成到场景的点云中。最后，CAST集成了一个物理感知的校正步骤，利用细粒度关系图生成约束图。约束图指导物体姿态的优化，确保物理一致性和空间一致性。通过使用SDF，模型有效地解决了遮挡、物体穿透和漂浮等问题，确保生成的场景准确反映了现实世界的物理交互。