
本稿では、エネルギーベースモデル(EBM)の基礎的な学習問題について検討する。EBMの学習は、通常、最大尤度推定(MLE)を用いて行われるが、これにはマルコフ連鎖モンテカルロ(MCMC)サンプリング(例えばランジュバンダイナミクス)が伴う。しかしながら、ノイズ初期化されたランジュバンダイナミクスは実用上困難であり、混合(mixing)が困難な場合がある。このため、補助的な生成モデル(generator model)と同時学習を行うアプローチが検討されている。この生成モデルはMCMCサンプリングを回避する補完的役割を果たす。しかし、このような手法はMCMCに比べて精度が低く、EBMの学習にバイアスを生じさせる可能性がある。一方、生成モデルをより良いMCMCサンプリングの初期化モデルとして用いることも可能であるが、生成モデルはEBMとの一致のみを学習対象としており、実測データ例にはアクセスできないため、その学習自体がバイアスを受ける可能性がある。このようなバイアスの生成モデル学習は、EBMの学習潜在能力を制限する要因となる。この問題に対処するために、EBMと補助的生成モデルの両方に対して最大尤度学習アルゴリズムを相互に連携させる統合学習フレームワークを提案する。特に、生成モデルはMLEによってEBMと実測データ分布の両方に一致するように学習されるため、EBMのMCMCサンプリングのより情報豊かな初期化モデルとして機能する。観測データ例を用いた生成モデルの学習には、生成モデルの事後分布の推論が必要となる。精度と効率の両立を確保するため、MCMCによる事後分布サンプリングを採用し、その潜在変数のMCMCサンプリングを初期化するための補助的推論モデルを導入する。本研究では、二つの(双対)MCMC教師法を通じて、三つの独立したモデルがスムーズに統合可能であることを示し、効果的かつ効率的なEBM学習が実現可能であることを明らかにする。