要約
私たちは、大規模な外部メモリを対象とした再帰的な注意モデルを持つニューラルネットワークを紹介します。このアーキテクチャはMemory Network（ウェストンら、2015年）の一種ですが、その研究で提案されたモデルとは異なり、エンドツーエンドで学習されるため、訓練中に必要とする監督が大幅に少なくなります。これにより、現実的な設定においてより一般的に適用可能となります。また、このモデルはRNNsearchの拡張版と見なすことができ、出力シンボルごとに複数の計算ステップ（ホップ）が行われる場合にも対応しています。モデルの柔軟性により、（合成的な）質問応答や言語モデリングなど、多様なタスクに適用することができます。質問応答の場合、当方のアプローチはMemory Networksと競合しますが、監督量が少ないという利点があります。言語モデリングの場合、Penn TreeBankおよびText8データセットにおいて当方のアプローチはRNNやLSTMと同等の性能を示しています。両ケースにおいても、複数の計算ホップという重要な概念が結果の向上につながっていることを示しています。