要約
一般的な見解では、画像生成に用いられる自己回帰モデルは、通常、ベクトル量子化（vector-quantized）されたトークンを伴うものとされている。本研究では、離散値空間がカテゴリカル分布の表現を容易にする一方で、自己回帰モデルにおいて必須ではないことを観察した。本稿では、各トークンの確率分布を拡散プロセス（diffusion procedure）を用いてモデル化する手法を提案する。これにより、連続値空間における自己回帰モデルの適用が可能となる。従来のカテゴリカル交差エントロピー損失に代わり、各トークンの確率をモデル化するための「拡散損失（Diffusion Loss）」関数を定義した。このアプローチにより、離散値のトークナイザーの必要性が完全に排除される。本手法の有効性は、標準的な自己回帰モデルおよび一般化されたマスク付き自己回帰（MAR）モデルのバリエーションを含む広範なケースにおいて評価された。ベクトル量子化を排除することで、我々の画像生成モデルは強力な性能を達成しつつ、シーケンスモデリングの高速性を享受できる。本研究が、他の連続値領域や応用における自己回帰生成の活用を促進することを期待する。コードは以下のURLで公開されている：https://github.com/LTH14/mar。