17 天前

基于评分的模型生成数据时需快速推进

Alexia Jolicoeur-Martineau, Ke Li, Rémi Piché-Taillefer, Tal Kachman, Ioannis Mitliagkas
基于评分的模型生成数据时需快速推进
摘要

基于得分(去噪扩散)的生成模型近年来在生成逼真且多样化的数据方面取得了显著进展。这类方法通过定义一个前向扩散过程,将数据逐步转化为噪声,并通过反向过程生成数据(即从噪声恢复为数据)。然而,当前的得分模型生成数据速度极慢,主要原因在于数值随机微分方程(SDE)求解器需要大量评估得分网络。在本研究中,我们旨在通过设计一种更高效的SDE求解器来加速这一过程。现有方法普遍采用欧拉-马鲁亚马(Euler-Maruyama, EM)求解器,其使用固定的步长。我们发现,简单地用其他SDE求解器替代EM效果不佳——要么生成样本质量低下,要么运行速度反而慢于EM。为克服这一问题,我们逐步精心设计了一种适用于得分生成模型的自适应步长SDE求解器。该求解器仅需两次得分函数评估,极少拒绝样本,且能生成高质量数据。相比EM求解器,我们的方法在保持或超越样本质量的前提下,实现2至10倍的加速。对于高分辨率图像生成任务,我们的方法在样本质量上显著优于所有对比方法。此外,该SDE求解器无需任何步长调参,具有良好的实用性和易用性。