Adobe AR/VR专利分享快速大规模辐射场重建
快速大规模辐射场重建
（映维网Nweon 2024年10月22日）3D重建是指从多视图数据中再现3D场景，并对于诸如AR/VR和电子商务等计算机视觉应用至关重要。然而，从图像数据中重建和渲染大规模室内场景具有挑战性。
在一份专利申请中，Adobe就提出了一种快速大规模辐射场重建方法。发明提出的场景重建系统将场景建模为神经体积辐射场，并可以再现忠实的场景外观，产生逼真的新颖视图合成结果。具体而言，实施例可以在大规模场景执行快速辐射场重建（这里所说的“大规模”是指全尺寸的室内场景，例如ScanNet数据集中的场景）。
为了在具有挑战性的场景中实现快速的辐射场重建，发明使用了一种全新的神经框架，通过循环神经模块从输入图像序列中逐步重建大型稀疏辐射场。与之前需要对每个场景进行优化的神经技术不同，Adobe提出的场景重建系统具有通用性，可以跨场景进行预训练，并且能够通过直接网络推理有效地重建大规模的辐射场。
在一个实施例中，给定具有已知camera姿势的RGB图像的输入序列，将辐射场重构为稀疏神经体。输入序列的处理与经典的TSDF处理相似，后者从逐视图几何（深度）开始，融合跨关键帧的逐视图重建，以获得全局稀疏的TSDF体积。尽管这个工作流的经典版本广泛用于重建大规模场景，但它只用于几何重建，不能产生照片般的效果。相反，实施例使用神经模块将辐射场重建为稀疏体素，以用于逼真的渲染。
......（全文 3851 字，剩余 3335 字）
