要約
近年、スコアベース生成モデル（SGMs）は、サンプル品質および分布カバレッジの両面で優れた成果を示している。しかし、これらのモデルは通常、データ空間に直接適用され、サンプリングには数千回に及ぶネットワーク評価を要する傾向がある。本研究では、変分自己符号化器（VAE）フレームワークを活用して潜在空間でSGMを学習する新たなアプローチ、潜在スコアベース生成モデル（LSGM）を提案する。データ空間から潜在空間への移行により、より表現力の高い生成モデルの学習が可能となり、連続的でないデータへの適用も可能になる。さらに、より小さな潜在空間内で滑らかなSGMを学習することで、ネットワーク評価回数の削減と高速なサンプリングが実現できる。LSGMのスケーラブルかつ安定なエンドツーエンド学習を可能にするために、我々は（i）LSGM設定に適した新たなスコアマッチング目的関数を導入し、（ii）目標分布が単純な正規分布とどの程度ずれているかに焦点を当てられるようにするスコア関数の新規パラメータ化を提案し、（iii）学習目的関数の分散低減を解析的に導出する複数の技術を提供する。CIFAR-10データセットにおいて、LSGMは2.10という最先端のFIDスコアを達成し、同データセットにおける既存のすべての生成モデルを上回った。CelebA-HQ-256においては、サンプル品質は従来のSGMと同等である一方で、サンプリング時間は2桁以上高速化された。二値画像のモデリングにおいては、LSGMはバイナリ化されたOMNIGLOTデータセットで最先端の尤度スコアを達成した。本研究のプロジェクトページおよびコードは、https://nvlabs.github.io/LSGM にて公開されている。