ディラテッド畳み込みを使用したテキストモデリングのための改良された変分オートエンコーダー

最近のテキスト生成モデルに関する研究では、LSTMデコーダを組み込んだ変分オートエンコーダ（VAE）がより単純なLSTM言語モデルよりも劣る性能を示すことが報告されています（Bowman et al., 2015）。この否定的な結果はまだ十分に理解されていませんが、LSTMデコーダがエンコーダからの条件付け情報を無視する傾向があることが原因として指摘されています。本論文では、VAE用の新しいタイプのデコーダであるディラテッドCNNを実験しました。ディレーテッドCNNの構造を変えることで、以前に生成された単語からの有効なコンテクストを制御できます。実験結果から、デコーダのコンテクスト容量とエンコーディング情報の使用量の間にはトレードオフがあることがわかりました。私たちは、適切なデコーダを使用することで、VAEがLSTM言語モデルを上回ることが示せることを確認しました。2つのデータセットでパープレキシティの改善が見られ、これはテキスト生成モデリングにおけるVAEの使用に関する初めての肯定的な実験結果です。さらに、半教師ありおよび教師なしラベリングタスクにおいて、私たちが提案した新しいデコーディングアーキテクチャを使用したVAEの利用について詳細な調査を行い、いくつかの強力な基準モデルに対して改善が見られることを示しています。