中科院提出可变形3D形状扩散模型，提升点云生成与网格变形性能
先进的点云生成性能和网格变形结果
（映维网Nweon 2025年01月16日）高斯扩散模型最初是为图像生成而设计，但现在已开发至用于3D点云生成。然而，这种适应性并没有充分考虑3D形状的内在几何特征，从而限制了扩散模型在3D形状操作中的潜力。为了解决这一限制，中国科学院团队提出了一种全新的可变形3D形状扩散模型，促进了全面的3D形状操作，包括点云生成、网格变形和面部动画。
所述方法创新地结合了微分变形核，它将几何结构的生成解构为连续的非刚性变形阶段。通过利用概率扩散模型来模拟这个循序渐进的过程，这一解决方案为广泛的应用提供了一个通用和有效的解决方案。
实验强调了方法的有效性，并展示了最先进的点云生成性能和网格变形结果。另外，大量的视觉演示显示了方法在实际应用中的巨大潜力，并为推进3D形状操作和解锁虚拟现实领域新机会提供了独特的途径。
开发3D形状的生成模型已经成为一系列应用的关键挑战。高斯扩散模型在图像生成任务中表现出优异的性能。在先前研究的基础之上，中国科学院团队的研究旨在扩展扩散模型以支持3D形状的生成。
为了全面理解作为扩散过程的3D形状生成，他们将包含形状的离散坐标解释为非平衡热力学系统中的粒子。系统与热浴相互作用，导致粒子位置随机演变。随着时间的推移，粒子进行扩散，逐渐分散在整个3D空间中。这种现象被称为扩散过程。
同时，在每个时间步加入噪点，将初始粒子分布逐步转化为简单的噪点分布。打个比方，可以通过扩散过程将点云或网格中的坐标分布与噪点分布联系起来。这个概念是概率扩散模型的基础，同时是3D形状生成方法的基础。
然而，与像素数据不同，3D数据的特点是空间（坐标）位置和几何特征信息之间的相互作用。所以在坐标中引入噪点不仅改变了它们的空间位置，而且破坏了局部的几何结构。
因此，传统的扩散过程在应用于3D数据时变得更加难以调节，导致有意义的几何信息在数步内迅速消散。这种约束在建模细粒度几何变形方面存在实质性障碍，并限制了网格生成技术的有效性。
为了解决与3D数据处理相关的挑战，研究人员引入了一种新的可变形3D形状扩散模型。它采用独特的微分变形核（DDK）将几何分布扩散到预定义的模板分布中，而不是在图像数据中常用的高斯扩散核（GDK）。通过DDK将复杂的几何结构分解成众多微妙的、连续的样本，目标是捕获几何结构的逐渐变形特征，并利用模仿过程的力量。
这种扩散过程使得研究人员能够以几何感知的方式管理3D数据。为了促进细粒度几何变形并从给定的模板分布恢复原始几何分布，他们引入了一种反向模拟扩散过程的方法。
与主要模拟数据后验分布的图像反向扩散不同，所述方法使用神经网络直接在当前时间步长结构的基础上回归最终时间步长结构。这种逐步回归过程使得能够逐步重建原始的几何结构。
总的来说，研究人员引入了一种新的方法来生成高质量的点云和网格。所述方法利用了最近开发的微分变形核（DDK），以几何感知的方式促进扩散。另外，他们利用几何模仿模型（DDM）来逆转3D形状扩散过程。
