摘要
基于扩散的图像生成模型在生成高质量合成内容方面表现出色，但在推理过程中存在速度慢和计算成本高的问题。先前的研究尝试通过在扩散变换器中跨推理步骤缓存和重用特征来缓解这一问题。然而，这些方法通常依赖于僵化的启发式算法，导致加速效果有限或在不同架构上的泛化能力较差。我们提出了一种名为进化缓存以加速扩散模型（Evolutionary Caching to Accelerate Diffusion models, ECAD）的方法，该方法利用遗传算法学习每个模型的高效缓存策略，形成帕累托前沿，仅需少量校准提示即可实现。ECAD无需对网络参数或参考图像进行任何修改，能够显著提高推理速度，提供细粒度的质量-延迟权衡控制，并且可以无缝适应不同的扩散模型。值得注意的是，ECAD所学到的缓存策略能够有效泛化到校准过程中未见过的分辨率和模型变体。我们在PixArt-alpha、PixArt-Sigma和FLUX-1.dev上使用多种指标（FID、CLIP、图像奖励）进行了评估，并在多个基准测试集（COCO、MJHQ-30k、PartiPrompts）上展示了相对于以往方法的一致性改进。特别是在PixArt-alpha上，ECAD识别出一种比现有最先进方法高出4.47 COCO FID的缓存策略，同时将推理加速比从2.35倍提升至2.58倍。我们的研究结果表明，ECAD是一种可扩展且具有泛化能力的加速扩散推理的方法。项目网站可在https://aniaggarwal.github.io/ecad访问，代码可在https://github.com/aniaggarwal/ecad获取。