拡散回復尤度を用いたエネルギー関数モデルの学習

エネルギーに基づくモデル（EBM）は多くの望ましい特性を有しているが、高次元データセットにおける学習およびサンプリングは依然として困難である。最近の拡散確率モデルに関する進展に着想を得て、本研究では、データセットのノイズが徐々に増加するバージョンに順次訓練されたEBMの系列から、効率的に学習およびサンプリングを行う「拡散回復尤度法（diffusion recovery likelihood）」を提案する。各EBMは回復尤度（recovery likelihood）を用いて学習され、あるノイズレベルにおけるデータの条件付き確率を、より高いノイズレベルでのノイズ付きバージョンから最大化する。回復尤度の最適化は、周辺尤度（marginal likelihood）よりも扱いやすく、条件付き分布からのサンプリングは周辺分布からのサンプリングよりもはるかに容易である。学習後、生成画像はガウス白色ノイズ分布から開始し、徐々にノイズレベルを低下させながら条件付き分布を逐次サンプリングするプロセスによって得られる。本手法はさまざまな画像データセットにおいて高忠実度のサンプルを生成する。無条件のCIFAR-10データセットにおいて、本手法はFID 9.58およびインセプションスコア8.30を達成し、多数のGANよりも優れた性能を示す。さらに、従来のEBM研究とは異なり、本手法における長期的なMCMCサンプリングは条件付き分布から発散せず、依然として現実的な画像を表現できることを示した。これにより、高次元データセットに対してもデータの正規化密度を正確に推定することが可能となる。実装コードは以下のGitHubページで公開されている：https://github.com/ruiqigao/recovery_likelihood。