スコアアイデンティティ蒸留：ワンステップ生成のための事前学習済み拡散モデルの指数関数的高速蒸留

本稿では、事前学習済みの拡散モデルの生成能力を単一ステップ生成器にデータフリーで蒸留する新しい手法「スコア同一性蒸留（Score identity Distillation: SiD）」を提案する。SiDは、蒸留過程においてFréchet Inception Distance（FID）を指数関数的に急速に低減するだけでなく、元の教師モデル（teacher diffusion model）と同等あるいはそれを上回るFID性能を達成する。本手法は、前向き拡散プロセスを準陰的分布（semi-implicit distribution）として再定式化し、3つのスコア関連の同一性（score-related identities）を活用して、革新的な損失機構を構築した。この損失機構により、生成器は自ら合成した画像を用いて学習可能となり、実データや逆拡散に基づく生成プロセスを一切不要とし、生成時間も大幅に短縮される。4つのベンチマークデータセットにおける評価結果から、SiDは蒸留過程において高い反復効率を示し、単ステップまたは少数ステップの生成を前提とする、データフリーまたは訓練データに依存する既存の蒸留手法をすべて上回る生成品質を実現した。本研究の成果は、拡散モデルの蒸留分野における効率性と有効性の新たな基準を提示するだけでなく、拡散ベースの生成技術全体の発展にも貢献するものである。実装コードはPyTorchで提供されており、GitHubにて公開されている：https://github.com/mingyuanzhou/SiD