要約
スコアベースの拡散モデルは、データをノイズに徐々に拡散させる確率過程を逆方向に実行することでサンプルを生成するものであり、重み付きスコアマッチング損失の組み合わせを最小化することで学習される。スコアベースの拡散モデルの対数尤度は、連続的正規化フロー（continuous normalizing flows）との関係を通じて効率的に計算可能であるが、重み付きスコアマッチング損失の組み合わせは直接的に対数尤度を最適化するものではない。本研究では、特定の重み付けスキームにおいて、目的関数が負の対数尤度の上界を形成することを示し、これによりスコアベースの拡散モデルにおける近似的な最尤学習が可能となることを明らかにする。実験的に、最尤学習が複数のデータセット、確率過程、モデルアーキテクチャにわたり、一貫してスコアベースの拡散モデルの尤度を向上させることを観察した。我々の最良のモデルは、データ拡張を一切行わずにCIFAR-10およびImageNet 32x32においてそれぞれ2.83ビット/次元および3.76ビット/次元の負の対数尤度を達成し、これらのタスクにおける最先端の自己回帰モデルと同等の性能を発揮した。