中外研究揭示NeRF模型在后门攻击中的安全漏洞
尽管NeRF通过高效和逼真的场景合成对3D重建产生了变革性影响，但它对恶意攻击的脆弱性构成了一个值得注意且在很大程度上遭到忽视的安全挑战
（映维网Nweon 2025年01月20日）神经辐射场（NeRF）代表了计算机视觉的重大进步，提供了基于隐式神经网络的场景表示和新颖视图合成能力。它的应用跨越多个领域，包括虚拟现实/增强现实等。然而，尽管NeRF得到了广泛采用，但其稳健性和安全性在很大程度上尚未未得到探索。
在一项研究中，中国海洋大学，德国萨尔大学，广州软件学院，西安电子科技大学团队引入了Illusory Poisoning Attack against Neural Radiance Fields（IPA-NeRF）。所述攻击包括在NeRF中嵌入一个隐藏的后门视图，当提供指定的后门视图时，允许它产生预定的输出，同时保持标准输入的正常性能。
这个攻击专门用于在特定位置欺骗下游模型，同时确保从其他角度无法检测到NeRF中的任何异常。实验结果证明了攻击的有效性，它可以在不影响其他视图的情况下，成功地在指定视点呈现出所需的错觉。值得注意的是，团队通过仅对训练集引入小扰动来实现这种攻击。
神经辐射场（NeRF）作为3D重建的基石技术广泛应用于各个领域，包括AR/VR。然而，尽管NeRF通过高效和逼真的场景合成对3D重建产生了变革性影响，但它对恶意攻击（如对抗性攻击和后门攻击）的脆弱性构成了一个值得注意且在很大程度上遭到忽视的安全挑战。
通过识别和减轻漏洞，研究人员可以保护基于NeRF的系统免受恶意操纵，确保其输出在真实场景中的完整性和可靠性。所以，全面探索针对NeRF的恶意攻击对于加强其安全态势和培养对其跨领域应用的信任至关重要。
目前，针对NeRF的恶意攻击研究主要集中在对抗性攻击方面。针对NeRF的对抗性攻击主要分为两类：一类是直接针对NeRF模型，阻碍准确的场景重建；另一类是针对下游分类或目标检测模型，造成误分类或识别错误。
与传统的图像分类任务不同，NeRF输入是空间坐标和方向向量，这给将梯度传播回图像带来了挑战。GNeRF为这种攻击提供了一个梯度管道，使得像NeRFool和低强度攻击这样的策略能够在训练过程中引入难以察觉的扰动，从而导致扭曲的场景重建。
像图像分类这样的下游任务同样容易受到攻击，像ViewFool和NeRFail这样的技术利用了NeRF的敏感性来产生错误分类或对抗性示例。另外，尽管后门攻击较少探索，但同样构成了重大威胁。
鉴于NeRF在安全关键领域的关键作用，彻底调查和了解后门攻击构成的潜在威胁至关重要。
针对所述问题，中国海洋大学，德国萨尔大学，广州软件学院，西安电子科技大学团队引入了Illusory Poisoning Attack against Neural Radiance Fields（IPA-NeRF）。所述攻击包括在NeRF中嵌入一个隐藏的后门视图，当提供指定的后门视图时，允许它产生预定的输出，同时保持标准输入的正常性能。
与现有方法相比，所述方法具有明显的优势，可以提高攻击的精度和隐身性。在NeRF中，场景的连续隐式表示在其权重内进行编码，这使得在不影响场景重建质量的情况下直接操作模型输出具有挑战性。
为了解决这个问题，研究人员将针对NeRF的后门形式化为双级优化。与传统的图像分类模型不同，NeRF输入的是空间坐标和方向向量，而不是特定图像的RGB颜色值，这使得有效后门触发器的设计变得复杂。团队选择视点作为后门触发器，但不需要提取器来解码秘密信息。
相关论文：IPA-NeRF: Illusory Poisoning Attack Against Neural Radiance Fields
在研究中，团队探讨了NeRF的鲁棒性和安全性，并特别关注后门攻击。他们开发了一个正式的框架来进行攻击，利用双优化来提高附近视点的质量，同时施加角度限制。通过对训练数据引入最小的扰动，研究人员成功地从后门视点操纵了图像，同时保持了剩余视点的完整性。
对潜在安全漏洞的调查是增强NeRF健壮性和安全性的关键第一步。研究强调了对NeRF进行后门攻击的可能性和风险，而目标是提高人们的认识，并鼓励进一步探索加强NeRF的稳健性和安全性。
在未来的研究中，团队的目标是使用随机平滑或对训练图像应用差分隐私来开发防御，从而帮助减轻后门攻击。
