中外团队提出无需掩码的神经隐式表面重建框架Hi-NeuS
它能够将表面噪点降低约20%，将未遮挡的CD提高约30%，获得了更好的表面细节
（映维网Nweon 2025年02月25日）以对象为中心的表面重建对于为AR/VR创建可编辑的数字资产至关重要。由于缺乏几何约束，现有的方法在网格处理中需要注释对象掩码来重建紧凑的表面。然而，掩码注释繁琐的性质产生了相当大的人工成本。
针对这个问题，香港科技大学（广州）和加拿大阿尔伯塔大学团队提出了一种基于渲染的神经隐式表面重建框架Hi-NeuS，目标是无需多视图对象掩码就能恢复紧凑和精确的表面。
这里的关键见解是，在以对象为中心的视图中，重叠区域自然地突出了camera围绕对象运行时的感兴趣对象，所以可以通过估计从多个视图累积的渲染权重分布来指定感兴趣对象，这隐式地标识了用户希望捕获的表面。
所以团队设计了一种几何细化方法，采用多视图绘制权重以自监督方式引导神经表面的SDF。具体来说，它保留相关权重，根据分布重新采样伪曲面。这有助于将SDF与感兴趣对象对齐。然后正则化SDF的几何一致性偏差。
另外，使用未遮挡的倒角距离（CD）来测量提取的网格而不进行后处理，以获得更精确的评估。所述方法已经进行了验证，并证明了适应性。在DTU数据集的广泛基准测试表明，它能够将表面噪点降低约20%，将未遮挡的CD提高约30%，获得了更好的表面细节。
想象一下，你围绕一个物体走动时拍摄照片。现在，您想要将这个对象集成到3D虚拟环境中，例如AR/VR世界，并且理想情况下以网格格式进行查看和内容创建。传统而言，这一过程依赖于经典的基于立体的方法。
然而，使用神经体渲染的3D重建技术进展已经带来了改变，因为它能够恢复高保真细节和更复杂的结构。与由三维高斯函数密集集合组成的高斯飞溅等显式表示相比，隐式NeRF由于其在转换和兼容性方面的成熟而通常用于表面重建。
神经隐式表面重建通常使用MLP将场景隐式地表示为占用场、SDF或混合网格。由于隐式表示的内在连续性，相关方法可以合成可信的新视图图像。然而，它们缺乏足够的表面约束，难以提取高质量的表面。
为了解决所述问题，有研究人员在体渲染中集成隐式表示以减少固有的几何误差。其中，NeuS是采用基于SDI的体渲染来建模几何表面的先驱研究之一。它将SDF集成到体渲染的密度场中来约束场景，从而产生具有遮挡意识的无偏表面重建。
值得注意的是，NeuS减少了对多视图对象掩码作为训练监督的依赖。不过，尽管NeuS具有优势，但依然受到限制。具体来说，当SDF没有得到充分的训练时，它很难准确地表示底层几何形状，从而导致SDF分布有偏差，并导致几何误差，造成预测表面偏离预期的几何形状，因为在图中间位置需要降低噪点。
所以，为了从学习到的SDF表示中提取紧凑的网格对象，NeuS及其后续研究通常需要在训练期间为每个camera姿势添加带注释的掩码，或者在后处理中去除背景网格噪点。但注释过程是劳动密集型的，并且容易出现人为错误。
考虑到必须对所有透视图进行注释，这种方法变得越来越麻烦和昂贵。在具有复杂或重叠对象的场景中，即便是使用SAM等方法，掩码同样都经常难以准确地描绘边界。另一方面，使用标注掩码直接过滤是不合理的，因为它会导致几何伪影。
尽管业界努力提高几何精度，但大多数方法依然优先考虑提高神经表示能力或通过辅助点云监督和预训练模型来辅助表面重建。仅使用多视图图像而不使用多视图对象掩码进行表面重建的挑战尚未得到充分探索。在现有方法中，缺少掩码会导致明显的网格伪影，使得很难实现直接的网格重建。
为了在没有对象掩码的情况下恢复更紧凑和精确的表面，香港科技大学（广州）和加拿大阿尔伯塔大学团队的主要灵感是，当camera围绕对象时，捕获视图中的重叠区域自然地突出了感兴趣对象。这种重叠隐含地确定了摄影师想要捕获的主题。同样，在体渲染过程中，当camera光线与对象相交时，表面附近的渲染权值达到峰值，从而勾画出对象表面的边界。然而，由于SDF分布偏倚，仅靠这种射线方向的局部约束不足以获得曲面。
为了解决这个问题，他们建议利用来自多个视图的累积权重来更有效地捕获全局表面区域。这个概念建立在NeuS的发现之上，亦即在无偏渲染权重函数下，表面点对其对应的射线像素的贡献大于其他射线样本。
另外，遮挡感知确保沿光线的第一个交叉点比随后的交叉点具有更高的值。与这种局部几何约束相比，无论射线方向如何，累积多视图渲染权重都可能以相似的峰值权重描绘对象表面。
考虑到这种表面监督，团队通过将SDF全局对齐到渲染权重生成的伪表面来减轻训练过程中引入的几何偏差。
具体来说，对于给定的任意射线查询，在通过MLP推断SDF后，采用可微神经拉操作，在预测的SDF及其梯度的引导下，将射线样本拉向对象表面。这种方法允许从预测表面点的梯度反向传播到神经SDF中。
Hi-NeuS将点与目标表面监督对齐，并可以根据累积的多视图权重分布重新采样，以定位下表面。所以，这种监督可以作为参考，对SDF施加几何约束，以通过自监督方法近似全局一致的表面。
在DTU数据集和BlendedMVS数据集进行的综合实验表明，所提出的方法在增强几何细节的同时显著降低了噪点。另外，它的多功能性已在NeuS及其变体Neuralangelo中得到验证。
相关论文：High-Fidelity Mask-free Neural Surface Reconstruction for Virtual Reality
总的来说，Hi-NeuS是一种基于渲染的神经隐式表面重建框架，利用了基于SDF的体渲染和提出的全局几何约束。算法能够恢复更紧凑和精确的表面，不依赖于多视图对象掩码。
框架的能力和性能已经在各种数据集的SOTA模型进行了严格的测试，在减少几何误差和恢复复杂细节方面表现出优越的广义性能。通过简化几何捕获过程，框架有可能实现直接从手机捕获的数据到网格的几何提取。这减少了注释多视图对象掩码的需要，促进了VR/AR中的无缝浏览和内容创建。
展望未来，团队计划适应更多的基线和其他数据集，以进一步验证其能力。另外，他们希望探索和执行更有效的几何约束来提高几何精度。
