俄研究团队开发MaterialFusion框架实现可控材质迁移
操纵对象的材质外观
(映维网Nweon 2025年06月05日)操纵对象的材质外观对于增强现实等应用至关重要。在一项研究中,俄罗斯国家研究型高等经济大学,AIRI和斯科尔科沃科学技术研究院团队提出了MaterialFusion,这是一个高质量材质转移的新框架,允许用户调整材质应用的程度,在新材质特性和对象的原始特征之间实现最佳平衡。
MaterialFusion通过保持背景一致性和减轻边界伪影,无缝地将修改后的对象集成到场景中。
为了彻底评估方法,团队编制了一个真实世界材质转移示例的数据集,并进行了复杂的比较分析。通过全面的定量评估和用户研究,研究人员证明了MaterialFusion在质量、用户控制和背景保存方面显著优于现有方法。
操纵对象的材质外观是计算机视觉和图形学中的一项关键任务,在增强现实等领域有着广泛的应用。材质转移是将材质属性从源样例应用到图像中的目标对象的过程,使用户能够在不同材质条件下可视化对象,而无需复杂的3D建模或渲染。这种能力加速了设计工作流程,增强了合成图像的真实感,使其成为一个重要的研究领域。
尽管具有重要意义,但由于难以保持几何特征,控制材质应用程度以及有效处理对象边界,实现高质量的材质转移依然具有挑战性。
现有方法在应用新材质属性时,往往会扭曲目标对象的形状或表面细节,从而影响其几何保真度。另外,许多方法在调整材质转移程度方面缺乏灵活性,导致过度应用,淹没了对象的原始结构和细节,导致外观不自然。
另外,在对象边界处不适当的混合会引入明显的伪影,降低整体图像质量并破坏与背景的一致性。现有的方法,如ZeST,试图在不依赖明确的3D信息的情况下解决材质转移问题,但它们经常受到质量问题的困扰,如几何特征的保存较差,缺乏对材质转移程度的控制。
同时,通用的图像编辑技术可能不接受材质范例作为输入图像,或者即使接受,都不能产生令人满意的结果,特别是在保留材质属性和处理背景整合方面。
为了克服上述限制,俄罗斯国家研究型高等经济大学,AIRI和斯科尔科沃科学技术研究院团队提出了MaterialFusion。这个新框架将IP-Adapter和Guide-and-Rescale(GaR)结合在一个扩散模型中,以实现具有增强控制和保真度的高质量材质转移。
所述方法使用IPAdapter从源样例图像中编码材质特征,捕获要传输的材质的特定纹理和细微差别。同时,GaR有助于保持目标对象的几何特征和基本特征,保持其原始结构和细节。
为了解决意外材质应用和背景改变的问题,研究人员引入了双重掩模策略:首先,在材质转移过程中应用掩模,将转移限制在所需区域;其次,在每个去噪步骤后执行掩模,以无缝地将修改后的对象集成到背景中,并减轻边界伪影。这种结合的方法可以精确控制材质转移的程度和位置,从而产生与周围环境保持一致的自然和真实的图像。
为了评估方法的有效性,研究人员进行了一项用户研究,将所提出方案与ZeST进行了比较。通过展示所提出方案和ZeST的结果,向被试提出了三个问题:第一个问题(Q1)评估了用户对总体偏好的偏好,第二个问题(Q2)侧重于材质保真度,第三个问题(Q3)评估了两种方法产生的图像结果的细节保存。
每个被试进行了365对图像的比较。被试表示,与ZeST相比,团队所提出方法产生的图像更逼真,并且更好地保留了原始对象的细节。然而,用户研究的结果表明,转移材质的效率低于ZeST(41%/59%)。对此有一个非常简单和合乎逻辑的解释。当使用最简单的方法切割材质时,使用掩模并将其粘贴到原始图像,材质转移看起来很完美。然而,这种方法牺牲了对原始对象的任何保存。
ZeST缺乏对材质传递力的控制,这可能导致输出类似于简单的剪切粘贴技术。因此,41%/59%的结果已经非常值得称道,因为它反映了保持原始对象完整性和实现材质转移之间的平衡。
团队表示:“尽管我们的方法可能没有像ZeST那样有效地转移材质,但它提供了更现实和连贯的材质和原始细节的集成,这本身就是一个重要的成就。”
相关论文:MaterialFusion: High-Quality, Zero-Shot, and Controllable Material Transfer with Diffusion Models
总的来说,MaterialFusion这个材质转移新框架平衡了材质保真度和细节保存,并利用了现有的预训练模型,如IP-Adapter和Guide-and-Rescale。通过定量评估和用户研究,与现有方法相比,所提出方法在现实材质集成方面显示出优越的结果。然而,框架有局限性,特别是在处理高度复杂的材质或复杂的纹理时,细粒度控制可能仍然不足。尽管存在挑战,但MaterialFusion为未来在现实应用中受控、高质量的材质转移提供了坚实的基础。