言語知識を再帰型ニューラルネットワークの記憶として

長期的な依存関係をモデル化するために再帰型ニューラルネットワーク（RNN）を訓練することは困難です。そこで、外部の言語学的知識を明示的な信号として利用し、モデルがどの記憶を利用するべきかを通知することを提案します。具体的には、外部の知識を利用して任意の距離にある要素間にタイプ付きエッジを持つシーケンスを拡張し、得られたグラフを有向非循環部分グラフに分解します。私たちは、このようなグラフをRNNの明示的な記憶としてエンコードするモデルを導入し、テキスト中の共参照関係をモデル化するために使用します。このモデルを複数のテキスト理解タスクに適用し、CNN、bAbi、LAMBADAなどのすべての考慮されたベンチマークで新しい最先端の結果を得ました。bAbi QAタスクでは、各タスクに対して1000個の訓練例のみを使用して20つのタスクうち15つを解くことができました。学習された表現の分析はさらに、私たちのモデルが文書全体で詳細なエンティティ情報をエンコードする能力を示しています。注：- 「再帰型ニューラルネットワーク」は「Recurrent Neural Network (RNN)」の一般的な日本語訳です。- 「CNN」、「bAbi」、「LAMBADA」はそれぞれ固有名詞であり、そのまま使用しました。- 「共参照関係」は「coreference relations」の一般的な日本語訳です。- 「有向非循環部分グラフ」は「directed acyclic subgraphs」の一般的な日本語訳です。