PaGoDA：从低分辨率扩散教师模型逐步构建单步生成器

扩散模型在生成高维内容方面表现卓越，但其训练过程计算开销巨大。为此，我们提出了一种名为渐进式扩散自编码器（Progressive Growing of Diffusion Autoencoder, PaGoDA）的新颖训练流程，通过三个阶段有效降低训练成本：在下采样数据上训练扩散模型、对预训练扩散模型进行知识蒸馏，以及渐进式超分辨率重建。借助该流程，PaGoDA 在使用 8 倍下采样数据训练扩散模型时，实现了高达 64 倍的训练成本降低。在推理阶段，仅需单步生成，PaGoDA 在 ImageNet 数据集上所有分辨率（从 64×64 到 512×512）以及文本到图像生成任务中均达到当前最优性能。此外，PaGoDA 的流程可直接应用于潜在空间，与预训练自编码器结合，适用于潜在扩散模型（如 Stable Diffusion），在生成过程中同时实现数据压缩。代码已开源，地址为：https://github.com/sony/pagoda。