Command Palette
Search for a command to run...
Seo Hyun Kim Sunwoo Hong Hojung Jung Youngrok Park Se-Young Yun

要約
マスク付き拡散モデルは、言語生成を含む多様なタスクにおいて競争力ある結果を示している。しかし、反復的精緻化プロセスに起因し、推論はしばしば遅く、静的なサンプリング速度によってボトルネックとなる。この問題を克服するため、本研究では「KL適応的安定性サンプリング」(KL-Adaptive Stability Sampling, KLASS)を提案する。KLASSは、トークンレベルのKLダイバージェンスを活用して、安定かつ高信頼度の予測を識別する高速かつ効果的なサンプリング手法である。追加のモデル学習を必要とせずに、各反復で複数のトークンを同時にマスク解除することで、生成速度を著しく向上させつつ、サンプルの品質を維持する。推論ベンチマークにおいて、KLASSは標準的なグリーディデコードを上回る性能を達成し、実時間で最大2.78倍の高速化を実現し、拡散モデルに基づくサンプラーの中でも最先端の結果を達成した。さらに、テキスト生成、画像生成、分子生成という多様な分野においてKLASSの有効性を検証し、異なるモデルに広く適用可能な効果的なサンプリング手法であることを示した。