18日前

確率微分方程式を用いたスコアベース生成モデル

Yang Song, Jascha Sohl-Dickstein, Diederik P. Kingma, Abhishek Kumar, Stefano Ermon, Ben Poole
確率微分方程式を用いたスコアベース生成モデル
要約

データからノイズを生成するのは容易であるが、ノイズからデータを生成することは生成モデルの本質である。本研究では、徐々にノイズを加えることで、複雑なデータ分布を既知の事前分布へ滑らかに変換する確率微分方程式(SDE)を提示する。さらに、その逆時系列SDEを用いて、事前分布から徐々にノイズを除去することで元のデータ分布へと再構成する手法も提案する。重要な点として、逆時系列SDEは、ノイズを加えられたデータ分布の時刻依存勾配場(いわゆるスコア)のみに依存することである。近年のスコアベース生成モデルの進展を活用することで、ニューラルネットワークを用いてこれらのスコアを高精度に推定でき、数値SDEソルバーを用いてサンプルを生成することが可能となる。本フレームワークは、従来のスコアベース生成モデルおよび拡散確率モデルのアプローチを統合しており、新たなサンプリング手順や新たなモデリング能力を実現する。特に、離散化された逆時系列SDEの進化における誤差を補正する予測子-補正子(predictor-corrector)フレームワークを導入した。また、同一の分布からサンプリング可能な等価なニューラルODEを導出し、尤度の正確な計算が可能となるとともに、サンプリング効率の向上も実現した。さらに、スコアベースモデルを用いた逆問題の新たな解法を提案し、クラス条件付き生成、画像補完、色付けといった実験を通じてその有効性を示した。複数のアーキテクチャ的改良と組み合わせることで、CIFAR-10における非条件画像生成において、Inceptionスコア9.89、FID 2.20という記録的な性能を達成し、2.99ビット/次元という競争力のある尤度値を実現した。また、スコアベース生成モデルによる1024×1024画素の高忠実度画像生成を、初めて実現した。

確率微分方程式を用いたスコアベース生成モデル | 最新論文 | HyperAI超神経