4ヶ月前

データ分布の勾配を推定する生成モデル

Yang Song; Stefano Ermon
データ分布の勾配を推定する生成モデル
要約

新しい生成モデルを提案します。このモデルでは、サンプルはデータ分布の勾配をスコアマッチングにより推定し、ランジュバン動力学を用いて生成されます。低次元多様体上にデータが存在する場合、勾配は定義が不適切であるか、推定が困難であるため、異なるレベルのガウシアンノイズでデータを摂動し、対応するスコア(すなわち、すべてのノイズレベルに対する摂動データ分布の勾配ベクトル場)を共同で推定します。サンプリングに関しては、サンプリングプロセスがデータ多様体に近づくにつれて徐々に減少するノイズレベルに対応する勾配を使用する緩和ランジュバン動力学を提案します。当フレームワークは柔軟なモデルアーキテクチャを許容し、訓練中にサンプリングを行う必要や敵対的手法の使用を必要とせず、原理に基づいたモデル比較に使用できる学習目標も提供します。当モデルはMNIST、CelebAおよびCIFAR-10データセットにおいてGANと同等のサンプルを生成し、CIFAR-10における最新の最高インセプションスコア8.87を達成しました。さらに、画像補完実験を通じて当モデルが効果的な表現を学習していることを示しています。