Command Palette
Search for a command to run...
ZEUS:仅用二阶预测器加速扩散模型
ZEUS:仅用二阶预测器加速扩散模型
Yixiao Wang Ting Jiang Zishan Shao Hancheng Ye Jingwei Sun Mingyuan Ma Jianyi Zhang Yiran Chen Hai Li
摘要
去噪生成模型能够实现高保真生成,但由于采样过程中需要大量迭代调用去噪器,推理延迟仍然是其瓶颈。免训练加速方法通过稀疏化模型架构或缩短采样轨迹来降低延迟。当前的免训练加速方法比实际所需更为复杂:高阶预测器在激进加速下会放大误差,而架构修改则阻碍部署。在超过 2 倍加速时,跳步会造成结构性稀缺——每个局部窗口至多只有一次全新评估——使得已计算的输出及其后向差分成为唯一具有因果依据的信息。基于此,我们提出 ZEUS,一种利用二阶预测器预测减少去噪器评估次数的加速方法,并通过交错方案稳定激进的连续跳步,避免背靠背外推。ZEUS 几乎不增加额外开销,无需特征缓存,也不修改架构,并且兼容不同骨干网络、预测目标和求解器选择。在图像和视频生成中,ZEUS 相较于近期免训练基线持续提升了速度-保真度表现,在保持感知质量的同时实现最高 3.2 倍的端到端加速。代码见:https://github.com/Ting-Justin-Jiang/ZEUS。
一句话总结
作者提出 ZEUS,一种免训练的扩散加速方法,仅使用二阶预测器和交错方案预测减少的去噪器评估次数,该交错方案避免连续外推,几乎不增加任何开销,无需特征缓存或架构修改,同时在图像和视频生成中实现高达 3.2× 的端到端加速,并保持感知质量。
核心贡献
- ZEUS 是一种免训练的采样加速方法,使用二阶预测器减少去噪器评估次数,并通过避免连续外推的交错方案稳定激进的连续跳步。
- ZEUS 几乎不增加开销,无需特征缓存或架构修改,并且由于只改变采样调度,与不同的骨干网络、预测目标和求解器选择兼容。
- 在图像和视频生成中,ZEUS 持续改善速度与保真度权衡,优于最近的免训练基线,在 Flux 上实现高达 3.2× 的端到端加速,同时改善 LPIPS、FID 和 PSNR。
引言
去噪生成模型通过积分概率流 ODE 进行采样,每个积分步骤都需要完整通过大型去噪器网络,这对大型图像和视频模型造成显著延迟。现有的免训练加速方法通过稀疏化注意力或预测跳过的步骤来减少去噪器调用,但超过 2 倍的激进端到端加速通常会降低保真度;当新鲜评估稀缺时,高阶轨迹预测器变得不可靠,而且许多方法带来部署负担,例如自定义内核或大型特征缓存。作者提出 ZEUS,一种极简的免训练方法,仅使用最近一次去噪器输出及其后向差分构建二阶预测器,结合交错重用调度以在长跳过间隔中保持稳定。ZEUS 不需要架构更改或中间特征缓存,并在多个图像和视频骨干上改善速度与保真度权衡,在图像上实现高达 3.22 倍加速,在视频上实现 2.24 倍加速,同时保持样本保真度。
方法
作者提出 ZEUS,一种面向基于 ODE 的生成模型的免训练加速框架,通过轨迹步骤跳过来加速离散化的概率流 ODE (PF-ODE) 采样。有关系统设计及其与各种骨干的集成概览,请参阅框架图。
该方法在均匀交错的 1:r 调度上运行。在每个包含 r+1 个求解器步骤的块中,框架执行一次完整去噪器评估并跳过其余 r 次评估。为执行这些减少的步骤,求解器在每个步骤仍需要去噪器输出;因此,作者必须使用由完整评估步骤可用的轨迹信息构建的数值预测器提供近似值 ψ^t。
在 r≥2 的激进稀缺条件下,作者证明更高的数值阶并不意味着更高的准确度。作者不依赖遥远的评估,而是识别完整评估步骤 t 处的“观测信息集”。该集合包含新鲜网络输出 ψt 和后向差分 Δ(1)ψt:=ψt−ψ^t+1。这一对构成了步骤 t 处去噪轨迹的完整因果记录,捕获了去噪器对给定近似状态的响应。
利用这个观测信息集,作者推导出二阶预测器:
ψ^t−1=ψt+Δ(1)ψt=2ψt−ψ^t+1该预测器恰好使用两个可用信号,并在稀缺条件下作为最佳线性无偏估计器。它避免了仅重用方法的 Ω(Δ) 偏差下限以及高阶预测器的方差爆炸。如下图所示,二阶预测器在 LPIPS 和 MSE 指标上持续优于一阶和三阶替代方案。
在近似多个连续减少步骤(r≥2)时,近似策略的选择显著影响稳定性。简单地串联二阶规则(仅预测器)会线性放大误差并导致近似漂移和超调。相反,对所有步骤重用相同输出(仅重用)避免误差放大,但忽略斜率信息,导致近似滞后并降低细节质量。
作者通过引入交错近似方案解决了这一权衡。框架不是串联预测,而是通过在完整评估及其二阶外推之间循环,在所有 r 个减少步骤中重用观测信息集:
ψ^t−j={2ψt−ψ^t+1ψtj oddj even该模式在最关键的步骤(j=1)应用一次二阶预测器,并在偶数步骤重置为 ψt。因为 j=1 之后不发生新的外推,方差保持在 O(σ2) 的边界内,同时在最重要的位置保持二阶精度。如下图所示,这种观测信息对的交错重用与基线方案相比防止了超调并保持感知质量。
实验
实验在五个文本条件生成模型上评估 ZEUS,包括文本到图像骨干如 Stable Diffusion 2.1、SDXL 和 Flux.1-dev,以及文本到视频骨干如 Wan2.1 和 CogVideoX,使用感知相似度、分布漂移和墙钟时间加速指标。主要结果表明,ZEUS 在所有模型和求解器上持续将速度与质量前沿向外推移,在图像生成上实现最先进或接近最先进的效率,在视频生成上实现新的质量效率前沿,无需针对视频的特定修改。消融实验进一步验证 ZEUS 在激进的少步采样和不同求解器阶数下仍然有效,其中高阶求解器改善感知保真度,而加速和 PSNR 基本不变。
该消融实验在不同加速比下比较了不同阶拉格朗日外推预测器与 ZEUS。高阶拉格朗日预测不能提高精度:三阶始终比二阶更差,并且随着加速变得更加激进误差也会增长。ZEUS 使用局部求解器信息而非过时的完整评估,在较高加速比下实现最佳或接近最佳的误差,同时提供更高的加速。三阶拉格朗日预测器在所有测试加速比下始终不如二阶预测器,尽管能访问额外的完整评估。无论预测器阶数如何,预测误差都会随着更多连续减少步骤而增加,表明过时的完整去噪器评估在激进加速下变得不那么可靠。在中度和激进加速比下,ZEUS 的误差低于两个拉格朗日基线,而二阶拉格朗日在最温和的设置下略为更准确。
ZEUS 在多种求解器下将速度与质量前沿向外推移,涵盖 Stable Diffusion 骨干和 Flux。在 SD-2 比较中,ZEUS-Medium 实现最高的 DPM++ 加速,同时保持接近最佳的感知和分布指标。更广泛的结果表明 ZEUS 在不牺牲感知保真度的情况下提高效率。ZEUS-Medium 在已报告的 SD-2 方法中创下最高的 DPM++ 加速,同时保持接近最强的 LPIPS 和 FID 分数。在骨干和求解器之间,ZEUS 持续改善速度与质量权衡,而非依赖特定求解器选择。在 Flux 上,偏向质量的 ZEUS 预设在 LPIPS 和 FID 的感知前沿上保持,即使其他方法在运行时间上具有竞争力。
比较显示,串联二阶预测器给出二阶偏差,但方差随着连续步骤数呈二次增长,使其精确但不稳定。重用完整评估将方差保持在噪声水平,但仅实现一阶偏差,因此稳定但不精确。ZEUS 在第一步匹配二阶偏差,其余遵循稳定的一阶偏差,同时将方差限制在噪声方差常数倍的范围内。仅预测器方案的方差随连续步骤数呈二次增长,这解释了其渐进漂移。ZEUS 在连续减少步骤中实现有界方差,同时仅在第一步保留二阶偏差,平衡精度和稳定性。
在 Wan 2.1 上,平衡方法实现最佳感知相似度和最高 PSNR,同时相比 SVG 和 SVG2 提高了吞吐量。快速变体达到最高加速,并相比 SVG2-Turbo 改善了质量,表明有利的速度与质量权衡。平衡方法获得最低 LPIPS 和最高 PSNR,吞吐量高于 SVG 和 SVG2,而 SSIM 仍略低于 SVG2。快速变体实现最大加速,并显示比 SVG2-Turbo 更好的 PSNR、SSIM 和 LPIPS,保持与最强基线竞争的质量。
在 Flux 和 SDXL 上的少步采样表明,减少步骤预算可改善感知相似度,LPIPS 下降,而 FID 测量的分布漂移保持适中。相同的定性趋势在 Flux 和 SDXL 骨干以及调度器选择之间均成立,表明这一优势不依赖于特定骨干或求解器。随着采样步骤减少,Flux 和 SDXL 的 LPIPS 改善,而 FID 仅适度增加。少步趋势在 Flux 和 SDXL 骨干以及调度器选择之间持续存在,支持鲁棒性。
评估涵盖预测器消融、速度与质量比较、偏差方差分析、视频生成和少步采样。在消融中,高阶拉格朗日外推不能提高精度,且在激进加速下性能下降,而 ZEUS 通过依赖局部求解器信息实现最佳或接近最佳的误差。偏差方差实验将此归因于 ZEUS 仅在第一个减少步骤保留二阶偏差,其余遵循有界方差的稳定一阶偏差。在 Stable Diffusion、Flux 和 Wan 2.1 上,ZEUS 将速度与质量前沿向外推移,Wan 平衡变体改善感知质量和吞吐量,快速变体提供最大加速;少步采样也在各骨干和调度器之间仅带来适度的分布漂移,同时改善感知相似度。