俄研究团队开发MaterialFusion框架实现可控材质迁移
操纵对象的材质外观
（映维网Nweon 2025年06月05日）操纵对象的材质外观对于增强现实等应用至关重要。在一项研究中，俄罗斯国家研究型高等经济大学，AIRI和斯科尔科沃科学技术研究院团队提出了MaterialFusion，这是一个高质量材质转移的新框架，允许用户调整材质应用的程度，在新材质特性和对象的原始特征之间实现最佳平衡。
MaterialFusion通过保持背景一致性和减轻边界伪影，无缝地将修改后的对象集成到场景中。
为了彻底评估方法，团队编制了一个真实世界材质转移示例的数据集，并进行了复杂的比较分析。通过全面的定量评估和用户研究，研究人员证明了MaterialFusion在质量、用户控制和背景保存方面显著优于现有方法。
操纵对象的材质外观是计算机视觉和图形学中的一项关键任务，在增强现实等领域有着广泛的应用。材质转移是将材质属性从源样例应用到图像中的目标对象的过程，使用户能够在不同材质条件下可视化对象，而无需复杂的3D建模或渲染。这种能力加速了设计工作流程，增强了合成图像的真实感，使其成为一个重要的研究领域。
尽管具有重要意义，但由于难以保持几何特征，控制材质应用程度以及有效处理对象边界，实现高质量的材质转移依然具有挑战性。
现有方法在应用新材质属性时，往往会扭曲目标对象的形状或表面细节，从而影响其几何保真度。另外，许多方法在调整材质转移程度方面缺乏灵活性，导致过度应用，淹没了对象的原始结构和细节，导致外观不自然。
另外，在对象边界处不适当的混合会引入明显的伪影，降低整体图像质量并破坏与背景的一致性。现有的方法，如ZeST，试图在不依赖明确的3D信息的情况下解决材质转移问题，但它们经常受到质量问题的困扰，如几何特征的保存较差，缺乏对材质转移程度的控制。
同时，通用的图像编辑技术可能不接受材质范例作为输入图像，或者即使接受，都不能产生令人满意的结果，特别是在保留材质属性和处理背景整合方面。
为了克服上述限制，俄罗斯国家研究型高等经济大学，AIRI和斯科尔科沃科学技术研究院团队提出了MaterialFusion。这个新框架将IP-Adapter和Guide-and-Rescale（GaR）结合在一个扩散模型中，以实现具有增强控制和保真度的高质量材质转移。
所述方法使用IPAdapter从源样例图像中编码材质特征，捕获要传输的材质的特定纹理和细微差别。同时，GaR有助于保持目标对象的几何特征和基本特征，保持其原始结构和细节。
为了解决意外材质应用和背景改变的问题，研究人员引入了双重掩模策略：首先，在材质转移过程中应用掩模，将转移限制在所需区域；其次，在每个去噪步骤后执行掩模，以无缝地将修改后的对象集成到背景中，并减轻边界伪影。这种结合的方法可以精确控制材质转移的程度和位置，从而产生与周围环境保持一致的自然和真实的图像。
为了评估方法的有效性，研究人员进行了一项用户研究，将所提出方案与ZeST进行了比较。通过展示所提出方案和ZeST的结果，向被试提出了三个问题：第一个问题（Q1）评估了用户对总体偏好的偏好，第二个问题（Q2）侧重于材质保真度，第三个问题（Q3）评估了两种方法产生的图像结果的细节保存。
每个被试进行了365对图像的比较。被试表示，与ZeST相比，团队所提出方法产生的图像更逼真，并且更好地保留了原始对象的细节。然而，用户研究的结果表明，转移材质的效率低于ZeST（41%/59%）。对此有一个非常简单和合乎逻辑的解释。当使用最简单的方法切割材质时，使用掩模并将其粘贴到原始图像，材质转移看起来很完美。然而，这种方法牺牲了对原始对象的任何保存。
ZeST缺乏对材质传递力的控制，这可能导致输出类似于简单的剪切粘贴技术。因此，41%/59%的结果已经非常值得称道，因为它反映了保持原始对象完整性和实现材质转移之间的平衡。
团队表示：“尽管我们的方法可能没有像ZeST那样有效地转移材质，但它提供了更现实和连贯的材质和原始细节的集成，这本身就是一个重要的成就。”
相关论文：MaterialFusion: High-Quality, Zero-Shot, and Controllable Material Transfer with Diffusion Models
总的来说，MaterialFusion这个材质转移新框架平衡了材质保真度和细节保存，并利用了现有的预训练模型，如IP-Adapter和Guide-and-Rescale。通过定量评估和用户研究，与现有方法相比，所提出方法在现实材质集成方面显示出优越的结果。然而，框架有局限性，特别是在处理高度复杂的材质或复杂的纹理时，细粒度控制可能仍然不足。尽管存在挑战，但MaterialFusion为未来在现实应用中受控、高质量的材质转移提供了坚实的基础。
