研究提出复用已渲染RGB-D图像的局部视角合成方法
复用已渲染RGB-D图像的局部视角合成方法
（映维网Nweon 2026年10月26日）在交互式场景探索中，camera小幅移动时，新目标视角往往与已经渲染的图像有大量重叠。但传统3DGS仍会为每个目标视角重新渲染。针对这个问题，有研究人员提出了一种逐场景框架：不再重复渲染邻近视角，而是复用已有的RGB-D图像，通过相对位姿引导的几何变形迁移源内容，再用轻量多尺度网络预测RGB残差，校正变形伪影并推断缺失外观。
团队将问题拆成两部分：几何迁移和残差外观校正。几何变形利用深度、camera内参和相对位姿，把源图像像素重投影到目标视角，并对源颜色进行泼溅、按深度过滤和覆盖率加权填充；在没有投影支持时返回源图像。随后，编码器提取源图像特征，解码器结合变形图像、RGB差值、覆盖率和相对位姿等信息，在四分之一分辨率处拼接特征，逐步细化到全分辨率，并由线性RGB头输出残差。残差加到变形图像上，得到目标视角预测。
训练方面，研究人员对每个静态场景单独训练编码器和解码器，使用Charbonnier损失；RGB头零初始化，使初始预测等于几何变形结果。推理时，源特征和预处理几何按源缓存一次，每个目标仍需执行重投影、残差解码和合成。
实验使用GS-render（三个Mip-NeRF 360场景）、Blender（Barcelona Pavilion）和采集的7-Scenes数据，图像尺寸为640×480，视点变化最大15°。对比方法包括重新实现的CheapNVS、预训练AdaMPI32和逐场景训练的3DGS。
在GS-render上，消融实验显示，完整残差细化把PSNR从纯变形的26.166 dB提高到26.887 dB，增加0.721 dB；LPIPS从0.1898降至0.1888。作为对照，仅用网络预测图像变化的变体PSNR为19.659 dB，低于纯变形，团队认为这说明深度引导迁移在该系统中具有价值。
实验显示，所提出方法在GS-render上PSNR为26.89、SSIM为0.841、LPIPS为0.189，高于CheapNVS的20.33/0.622/0.329和AdaMPI32的25.89/0.791/0.213，比AdaMPI32高约1.00 dB PSNR。在7-Scenes上，所提出方法PSNR为20.74、SSIM为0.721，高于对比方法，但LPIPS为0.395，高于AdaMPI32的0.378。在Blender上，所提出方法PSNR为30.57、SSIM为0.882、LPIPS为0.179。
查询开销方面，所提出方法查询延迟为0.95–0.98 ms，源缓存14.4 MiB，峰值分配内存95.8 MiB。计时使用RTX 5090、FP32、批大小1，并进行CUDA同步；内存统计不包括指标计算和目标RGB。
相关论文：LVS: Local View Synthesis from Relative Camera Pose by Reusing Previous Views
团队认为，这种将场景渲染与局部视角更新分开的做法支持响应式场景探索，在增强现实和虚拟现实领域存在潜在应用。
