AdaCache 加速视频生成技术

AdaCache 是由 Meta 于 2024 年提出的用于加速 AI 视频生成技术，其核心在于自适应缓存机制，相关论文成果为「Adaptive Caching for Faster Video Generation with Diffusion Transformers」。它优化了计算资源的分配，根据不同视频内容的复杂度动态调整计算量，减少不必要的计算开销。 AdaCache 引入运动正则化策略，用视频内的运动信息进一步优化缓存决策。实验表明，AdaCache 在保持视频质量的同时，显著提升生成速度，在多 GPU 环境下效果显著，对视频生成领域具有重要的应用价值和发展前景。

具体来讲，AdaCache 这种方法无需训练，并且可以在推理阶段作为即插即用的组件无缝集成到基准视频扩散变换器中。该方案的核心思想是在特定的扩散步骤中对变换器模块内的残差计算（例如注意力或多层感知机输出）进行缓存，并根据生成的视频在后续若干步骤中重复使用这些缓存结果。研究团队通过制定一个缓存计划来实现这一点，也就是说，每当进行残差计算时，要决定下一次何时重新计算。这个决定是由一个距离度量指标来指导的，该指标用于测量先前存储的表征与当前表征之间的变化率。如果距离较大，就不会长时间（即若干步骤）进行缓存，以避免重复使用不兼容的表征。

研究人员进一步引入了运动正则化 (Motion Regularization, MoReg) 来根据正在生成的视频中的运动内容分配计算任务。这是受到这样一种观察的启发：高动态序列需要更多的扩散步骤才能达到合理的质量。

总体而言，这套流程应用于多个视频扩散变换器基准之上，在不牺牲生成质量的情况下展现出了更快的推理速度。