17 天前

生成建模中的流匹配

Yaron Lipman, Ricky T. Q. Chen, Heli Ben-Hamu, Maximilian Nickel, Matt Le
生成建模中的流匹配
摘要

我们提出了一种基于连续归一化流(Continuous Normalizing Flows, CNFs)的新一代生成建模范式,使得CNFs的训练规模达到了前所未有的水平。具体而言,本文引入了流匹配(Flow Matching, FM)这一新概念,这是一种无需模拟的CNFs训练方法,其核心思想是通过回归固定条件概率路径的向量场来实现训练。流匹配兼容一类广义的高斯概率路径,用于在噪声样本与数据样本之间进行变换——这一框架涵盖了现有扩散路径作为特例。有趣的是,我们发现将流匹配与扩散路径结合使用,可为扩散模型的训练提供一种更为鲁棒且稳定的替代方案。此外,流匹配还为采用非扩散型概率路径训练CNFs开辟了新途径。其中特别值得关注的是,利用最优传输(Optimal Transport, OT)位移插值来定义条件概率路径。这类路径相比传统扩散路径更具效率,能够实现更快的训练与采样速度,并带来更优的泛化性能。在ImageNet数据集上,基于流匹配训练的CNFs在似然度和生成样本质量方面均显著优于其他基于扩散的方法,同时可借助现成的数值常微分方程(ODE)求解器实现快速且可靠的样本生成。