Jiacheng Liu Xinyu Wang Yuqi Lin Zhikai Wang et al

要約

拡散モデル（Diffusion Models）は、優れた生成品質と制御性を備えることから、現代の生成AIの基盤技術として重要な位置を占めています。しかし、その固有の「多段階反復処理」と「複雑なバックボーンネットワーク」により、計算負荷が著しく増大し、生成遅延も深刻な問題となっており、リアルタイム応用における主要なボトルネックとなっています。これまでに提案された加速技術は一定の進展を遂げていますが、適用範囲の制限、高い学習コスト、あるいは生成品質の低下といった課題を抱えています。このような背景のもと、拡散キャッシュ（Diffusion Caching） は、訓練不要かつアーキテクチャに依存せず、推論効率が高い新たなパラダイムとして有望視されています。その核心的な仕組みは、拡散プロセスにおける内在的な計算の重複（冗長性）を特定し、再利用することにあります。特徴量レベルでのステップ間再利用および層間スケジューリングを実現することで、モデルパラメータの変更なしに計算量を削減可能です。本論文では、拡散キャッシュの理論的基盤と進化過程を体系的にレビューし、その分類と分析を統一的な枠組みで提示します。代表的な手法を比較分析した結果、拡散キャッシュは「静的再利用」から「動的予測」へと進化していることが明らかになりました。この傾向は、多様なタスクにわたるキャッシュの柔軟性を高めるとともに、サンプリング最適化やモデル蒸留などの他の加速技術との統合を可能にし、今後のマルチモーダルかつインタラクティブな応用に向けた統一的で効率的な推論フレームワークの実現に道を開きます。本研究では、このパラダイムがリアルタイムかつ効率的な生成AIの実現を支える鍵となる存在となると主張し、効率的生成知能（Efficient Generative Intelligence） の理論と実践の両面に新たな活力をもたらすものと期待されます。