拡散の二重性

一様状態離散拡散モデルは、自己修正能力に起因する高速なテキスト生成の可能性を秘めています。しかしながら、一般的には自己回帰モデルやマスクされた拡散モデルに劣る性能を示します。本研究では、一様状態の拡散過程が基本的なガウス拡散から自然に生じることという重要な洞察を利用して、この性能差を縮めます。私たちの手法「Duo」は、ガウス拡散から強力な技術を取り入れて、学習とサンプリングの両方を改善します。まず、ガウス過程によって導かれるカリキュラム学習戦略を導入し、分散を低減することで学習速度を2倍に向上させました。カリキュラム学習で訓練されたモデルは、7つのベンチマークのうち3つでゼロショットパープレキシティにおいて自己回帰モデルを超える性能を示しました。次に、Discrete Consistency Distillation（離散一致性蒸留）アルゴリズムを提案します。これは連続設定から離散設定へと一致性蒸留を適応させたものです。このアルゴリズムにより、拡散言語モデルでの少数ステップ生成が可能となり、サンプリング速度が2桁向上しました。プロジェクトページ（http://s-sahoo.github.io/duo）にてコードおよびモデルチェックポイントを提供しています。