11 天前

分类器引导扩散生成的设计空间解析

Jiajun Ma, Tianyang Hu, Wenjia Wang, Jiacheng Sun
分类器引导扩散生成的设计空间解析
摘要

在条件扩散生成中,引导机制对于生成样本的质量和可控性至关重要。然而,现有的引导方案仍存在明显不足。一方面,主流方法如分类器引导(classifier guidance)和无分类器引导(classifier-free guidance)均需依赖带有标签数据的额外训练,不仅耗时,且难以适应新的条件场景;另一方面,无需训练的方法(如通用引导,universal guidance)虽然更具灵活性,但其性能尚未达到与前者相当的水平。在本工作中,通过对引导设计空间的系统性探索,我们发现:仅通过无需训练的方式,利用现成的预训练分类器,即可显著超越现有引导方案的性能,从而兼得高效率与高灵活性。基于“校准”这一通用原则,我们提出了一系列预处理技术,以更有效地利用预训练的现成分类器来引导扩散生成过程。在ImageNet数据集上的大量实验验证了所提方法的有效性,结果表明,采用现成分类器后,当前最先进的扩散模型(如DDPM、EDM、DiT)的性能可进一步提升高达20%,且几乎不增加额外计算开销。随着公开可用的预训练分类器日益丰富,本方法展现出巨大的应用潜力,可轻松扩展至文本到图像生成等任务。相关代码已开源,地址为:https://github.com/AlexMaOLS/EluCD/tree/main。

分类器引导扩散生成的设计空间解析 | 最新论文 | HyperAI超神经