基于得分的生成建模通过随机微分方程

从数据中生成噪声是容易的；而从噪声中生成数据，则构成了生成建模的核心。我们提出了一种随机微分方程（SDE），该方程通过逐步注入噪声，将复杂的原始数据分布平滑地转化为一个已知的先验分布；同时，我们还引入了一个反向时间SDE，通过逐步去除噪声，将先验分布重构回原始数据分布。关键在于，反向时间SDE仅依赖于扰动后数据分布的时间相关梯度场（即得分函数，score）。借助得分函数生成建模领域的最新进展，我们能够利用神经网络精确估计这些得分函数，并结合数值SDE求解器实现高效采样。我们证明，该框架统一了此前得分函数生成建模与扩散概率建模的多种方法，不仅支持新的采样流程，还拓展了模型的建模能力。特别地，我们提出了一种预测-校正（predictor-corrector）框架，用于修正离散化反向时间SDE演化过程中的累积误差。此外，我们推导出一个等价的神经微分方程（neural ODE），其采样分布与SDE完全一致，同时具备精确似然计算能力，并显著提升采样效率。此外，我们还提出了一种基于得分模型求解逆问题的新方法，并在条件类别生成、图像修复（inpainting）和图像着色等任务中进行了实验验证。结合多种架构改进，我们在CIFAR-10数据集上实现了无条件图像生成的全新纪录：Inception分数达到9.89，FID降至2.20，似然值达到2.99 bit/dim，且首次从得分函数生成模型中成功生成了分辨率为1024×1024的高质量图像，充分展现了模型在生成保真度与规模上的突破性进展。