17 天前

反射扩散模型

Aaron Lou, Stefano Ermon
反射扩散模型
摘要

基于得分的扩散模型通过学习逆转一个将数据映射至噪声的随机微分方程(SDE)来生成样本。然而,在复杂任务中,数值误差可能累积,导致生成样本严重失真。以往的方法通过阈值化(thresholding)缓解这一漂移问题:在每一步扩散过程后将样本投影回自然数据域(例如图像中的像素空间)。但这种方法在训练与生成过程中引入了不一致,造成过程失配。为以更合理的方式纳入数据约束,我们提出反射扩散模型(Reflected Diffusion Models),该方法转而逆转定义在数据支撑集上的反射随机微分方程(reflected SDE)。我们的方法通过广义得分匹配损失学习受扰动的得分函数,并扩展了标准扩散模型的关键组件,包括扩散引导(diffusion guidance)、基于似然的训练以及常微分方程(ODE)采样。此外,我们建立了与阈值化方法之间的理论联系:此类方法本质上是反射SDE的离散化形式。在标准图像基准测试中,我们的方法在无需任何架构修改的情况下,性能达到或超越当前最优水平;在无分类器引导(classifier-free guidance)设置下,该方法支持基于ODE的快速精确采样,并在高引导权重下生成更具真实感的样本。