17 天前

黑out扩散:离散状态空间中的生成扩散模型

Javier E Santos, Zachary R. Fox, Nicholas Lubbers, Yen Ting Lin
黑out扩散:离散状态空间中的生成扩散模型
摘要

典型的生成扩散模型依赖于高斯扩散过程来训练反向变换,从而能够从高斯噪声中生成样本。然而,现实世界中的数据往往存在于离散状态空间中,这在诸多科学应用中尤为常见。本文提出了一种针对任意离散状态马尔可夫过程的前向扩散过程的理论框架,该框架采用精确分析(而非变分近似)的方法。我们建立了该理论与现有连续状态高斯扩散模型以及其他离散扩散方法之间的联系,明确了在连续时间设定下对应的反向时间随机过程与得分函数,以及在离散时间设定下的反向映射。作为该框架的一个实例,我们提出了“黑化扩散”(Blackout Diffusion),该模型学习从一张空白图像(而非噪声)中生成样本。在CIFAR-10、二值化MNIST和CelebA数据集上的数值实验验证了该方法的可行性。通过将前向过程从特定的(高斯)情形推广至无需变分近似的离散状态过程,本研究为理解扩散模型提供了新的视角,相关讨论亦在文中展开。

黑out扩散:离散状态空间中的生成扩散模型 | 最新论文 | HyperAI超神经