要約
最近のニューラル変分推論の進歩により、深層潜在変数モデルの再興が見られています。本稿では、テキストの生成モデルおよび条件付きモデルに対する汎用的な変分推論フレームワークを導入します。従来の変分手法は、潜在変数上の扱いにくい分布に対して解析的な近似を導出する一方で、ここでは離散的なテキスト入力に条件付けられた推論ネットワークを構築し、変分分布を提供します。このフレームワークは、生成文書モデリングと監督付き質問応答という非常に異なる2つのテキストモデリングアプリケーションで検証されました。私たちのニューラル変分文書モデルは、連続的な確率的な文書表現と単語の袋（bag-of-words）生成モデルを組み合わせており、2つの標準テストコーパスにおいて報告されている中で最低のパープレキシティ値を達成しています。ニューラル回答選択モデルは、注意機構内に確率的な表現層を用いて質問と回答ペア間の意味関係を抽出します。2つの質問応答ベンチマークにおいて、このモデルはこれまでに発表されたすべてのベンチマークを超える結果を示しました。