要約
本研究では、エネルギーに基づく事前モデルと多層生成モデルの学習問題に着目する。多層生成モデルは、トップダウン型の階層構造で構成された複数の潜在変数を含むが、通常はガウス事前分布を仮定している。このような事前モデルは表現力に制限があるため、生成モデルの事後分布と事前モデルとの間に乖離が生じ、これを「事前分布の穴（prior hole）問題」と呼ぶ。近年の研究では、この乖離を埋めるために、第二段階の補完的モデルとしてエネルギーに基づくモデル（EBM）を学習するアプローチが検討されている。しかし、多層潜在空間上に定義されたEBMは極めて多峰性を持つ傾向があり、実用的にその周辺EBMからのサンプリングが困難となる。その結果、EBMの学習が効果的に進まないという課題が生じる。本研究では、この課題を克服するために、拡散確率的スキームを活用し、EBMサンプリングの負担を軽減することで、EBMの学習を促進する手法を提案する。広範な実験により、本手法で学習された拡散型EBM事前モデルが、さまざまな困難なタスクにおいて優れた性能を発揮することを示した。