要約
自然言語理解のためのメモリ拡張型ニューラルネットワークであるNeural Semantic Encoders (NSE) を提案します。NSEは、新しいメモリ更新則を備えており、時間とともに変化する可変サイズのエンコーディングメモリを持っています。このメモリは、読み取り、構成、書き込み操作を通じて入力シーケンスの理解を維持します。また、NSEは複数の共有メモリにアクセスすることができます。本論文では、自然言語推論、質問応答、文分類、文書感情分析、機械翻訳という5つの異なる自然言語処理タスクにおいてNSEの有効性と柔軟性を示しました。これらのタスクでNSEは公開されているベンチマークでの評価において最先端の性能を達成しています。例えば、共有メモリモデルは神経機械翻訳において有望な結果を示し、アテンションベースの基準モデルに対して約1.0 BLEUポイントの改善を達成しました。