要約
我々は、ガウス型拡散モデルにおける予測・修正サンプラー（predictor-corrector samplers）を離散空間に拡張した「離散予測・修正拡散モデル（Discrete Predictor-Corrector diffusion models, DPC）」を提案する。予測・修正サンプラーは、アノセストル・サンプラー（ancestral samplers）を改善するためのサンプラーの一種であり、中間拡散状態のサンプリング分布をMCMC（マルコフ連鎖モンテカルロ）法を用いて修正することで、サンプリングの精度を向上させる。DPCでは、離散空間に直接対応するものが存在しないランジュバン修正（Langevin corrector）を、学習された修正カーネルによって定義される離散MCMC遷移に置き換える。この修正カーネルは、修正ステップが中間拡散状態の正しい周辺分布に漸近的に収束するように学習される。DPCを導入することで、離散拡散の視点から最近のTransformerベースの非逐次的生成モデルを再検討した結果、視覚トークンの並列生成に起因する誤差の累積をDPCが緩和できることを明らかにした。実験の結果、DPCはImageNetにおけるクラス条件付き画像生成において、既存の離散潜在空間モデルを上回り、標準的な評価指標およびユーザ評価調査において、連続型拡散モデルやGANをも凌駕することが示された。