半アモルタイズ変分オートエンコーダー

アモルティゼーション変分推論（Amortized Variational Inference, AVI）は、個々のインスタンスに特異的な局所的推論を、全体的な推論ネットワークで置き換えます。AVIは変分自己符号化器（Variational Autoencoder, VAE）などの深層生成モデルの効率的な学習を可能にしましたが、最近の経験的研究では、推論ネットワークが非最適な変分パラメータを生成することが示唆されています。本研究では、ハイブリッドアプローチを提案します。具体的には、AVIを使用して変分パラメータを初期化し、確率的変分推論（Stochastic Variational Inference, SVI）を用いてそれらを精緻化することです。重要な点は、局所的なSVI手順自体が微分可能であるため、推論ネットワークと生成モデルを勾配ベースの最適化によりエンドツーエンドで学習できるということです。この半アモルティゼーションアプローチは、テキスト生成のような問題においてVAEの学習で一般的に見られる事後分布崩壊現象（posterior-collapse phenomenon）を経験せずに豊かな生成モデルを使用することを可能にします。実験結果は、この手法が標準的なテキストデータセットや画像データセットにおいて強力な自己回帰基準モデルや変分基準モデルよりも優れていることを示しています。