商汤与浙大研发GeoTexDensifier框架：几何纹理双优化打造高保真3D高斯飞溅模型
3DGS
（映维网Nweon 2025年05月14日）3DGS以其逼真、高效的渲染性能在虚拟现实等领域受到了广泛关注。高质量的3DGS重建依赖于足够的飞溅及其合理分布，以适应真实的几何表面和纹理细节，而这是一个具有挑战性的问题。
针对这个问题，商汤科技和浙江大学团队提出了一种基于几何纹理感知的高密度化策略GeoTexDensifier，用于重建高质量的高斯飞溅，使其更符合场景的几何结构和纹理丰富度。
具体来说，GeoTexDensifier框架执行了一种辅助纹理感知致密化方法，在完全纹理区域产生更密集的飞溅分布，同时在低纹理区域保持稀疏性，以保持高斯点云的质量。
同时，一种几何感知的分割策略在深度比变化检验的验证下，利用深度和法向先验来指导分割采样，滤除初始位置远离实际拟合几何表面的噪点飞溅。
在相对单目深度先验的帮助下，这种几何感知的验证可以有效地减少散射高斯对最终渲染质量的影响，特别是在纹理较弱或没有足够训练视图的区域。充分结合纹理感知致密化和几何感知分割策略，可以获得一组高质量的高斯条纹。
研究人员在各种数据集实验了GeoTexDensifier框架，并将新颖视图合成结果与其他最先进的3DGS方法进行了比较，同时进行了详细的定量和定性评估，以证明所提出方法在生成更逼真3DGS模型方面的有效性。
3DGS以其高效的渲染性能和逼真的可视化效果受到广泛关注，并在虚拟现实、混合现实和数字孪生等领域显示出潜在的应用前景。与传统的Multi-View Stereo和纹理映射等重建显式网格模型的方法相比，3DGS模型能够呈现更真实的纹理和细节。
另外，与神经辐射场NeRF的隐式表示相比，3DGS创新性地提出使用一组称为飞溅的可微三维高斯椭球体来表示捕获场景的显式结构，更友好地支持三维空间高斯飞溅的编辑、重照明和物理模拟等图形技术。3DGS通过对初始高斯点的分割和克隆实现完整的场景重建和纹理细节增强。
3DGS模型的高质量重建和渲染依赖于两个条件：第一是要有足够数量的高斯飞溅来支持细节，第二是要确保飞溅在3D空间中优化到正确的位置。
为了更好地解决致密化和定位问题，商汤科技和浙江大学团队提出了一种新的3D高斯飞溅框架GeoTexDensifier，并用于高质量的逼真新颖视图渲染。
这个框架创新地提出了一种致密化策略，令重建的高斯函数更准确地符合场景的实际几何结构。另外，致密高斯模型包含足够数量的飞溅来支持完全纹理区域，同时在弱纹理区域保持稀疏的高斯飞溅分布。通过这种方式，这个3DGS框架能够生成高质量的3D高斯模型。
原始3DGS存在“过度重建”问题，导致地毯等纹理区域的细节缺失，而GeoGaussian等研究改善了飞溅分布的空间结构，Pixel-GS则进一步提高了地毯等特定纹理区域的飞溅密度，但两者都缺乏足够的飞溅采样来支持纹理细节。
MiniSplatting有足够的采样，但在无纹理区域引入了过度致密的情况，这可能会产生额外的高斯噪点。相比之下，根据SSIM、PSNR（以dB为单位）和LPIPS指标的GT测试视图渲染结果的定量评估，GeoTexDensifier提供了更准确的高斯飞溅空间分布，噪点更少，更逼真的新视图渲染效果。
GeoTexDensifier框架实现了一种几何感知的分割策略，指导分割位置采样在正常先验的帮助下拟合场景的实际几何表面，并根据深度比变化验证对单眼深度先验提供的相对深度进行检查，过滤掉初始位置不合适的噪点飞溅。
同时，采用纹理感知的致密化策略作为辅助补充，对额外的大高斯分布进行分割，在完全纹理区域产生更密集的飞溅分布，而在无纹理区域保持稀疏分布，从而保持高质量的高斯点云。
在迭代优化中充分结合纹理感知的致密化策略和几何感知的分割策略，最终得到高质量的逼真3DGS模型。在MipNeRF 360、Tanks和Temples数据集和自拍场景的实验验证了GeoTexDensifier管道的有效性和鲁棒性。
值得一提的是，团队将GeoTexDensifier生成的3DGS模型导入开源的“Gaussian Splatting VR Viewer Unity Native Plugin”中，在Meta Quest头显实现逼真的沉浸式可视化和重建场景的实时交互导航，如图8所示。
总的来说，GeoTexDensifier是一个旨在更有效地增强3DGS密度的新框架，它首先采用纹理感知的致密策略，利用训练图像的纹理梯度来确保在高纹理区域充分填充飞溅，同时在低纹理区域保持稀疏性。
然后利用几何感知的分割模块，根据相对深度先验验证初始分割的飞溅位置，引导飞溅的空间分布更好地与场景的实际表面对齐。所以与SOTA方法相比，产生的高质量3DGS模型具有更合理的分布飞溅和更少的噪点，从而产生更逼真的NVS效果。
