要約
本論文では、多層生成モデルの学習という基礎的な問題に取り組む。多層生成モデルは、生成器の上位に複数の潜在変数層を構築し、それらを事前分布として用いることで、複雑なデータ分布や階層的な表現の学習に寄与する。しかし、従来の事前モデルは、潜在変数間の層間関係をモデリングする際に、非情報的（条件付き）ガウス分布を仮定するため、モデルの表現力に限界が生じる場合がある。この問題を克服し、より表現力の高い事前モデルを学習するため、本研究では、多層生成モデルをバックボーンとして、すべての潜在変数層にわたる共同潜在空間上にエネルギーに基づくモデル（EBM）を提案する。この共同潜在空間EBM事前モデルは、各層ごとのエネルギー項を通じて層内における文脈的関係を捉え、異なる層間の潜在変数を共同で修正する。さらに、最大尤度推定（MLE）に基づく共同学習スキームを構築し、各層の潜在変数に対する事前分布および事後分布の両方について、マルコフ連鎖モンテカルロ（MCMC）サンプリングを用いる。効率的な推論と学習を実現するため、後続の推論にかかるコストを低減するため、推論モデルを用いて事後MCMCサンプリングをアモルタイズする変分学習スキームも提案する。実験の結果、学習されたモデルは高品質な画像生成に優れ、階層的特徴を適切に捉えることで、異常値検出の性能を向上させることを示した。