世界状態を再帰的エンティティネットワークで追跡する

新しいモデルであるリカレントエンティティネットワーク（Recurrent Entity Network、EntNet）を紹介します。このモデルは動的な長期記憶を備えており、新しいデータを受け取るにつれて世界の状態の表現を維持し、更新することができます。言語理解タスクにおいては、質問に答える時や反応する時だけでなく、テキストを読み進める過程で即座に推論を行うことができます（Sukhbaatar et al., 2015）。ニューラルチューリングマシンや微分可能なニューラルコンピュータ（Neural Turing Machine、Differentiable Neural Computer；Graves et al., 2014; 2016）と同様に、固定サイズの記憶を保持し、位置に基づいた読み書き操作や内容に基づいた読み書き操作を学習することができます。しかし、これらのモデルとは異なり、EntNetは複数の記憶場所を同時に更新できる単純な並列アーキテクチャを持っています。EntNetはbAbIタスクにおいて新たな最先端の成果を達成し、10,000件の訓練例設定で全てのタスクを解く最初の方法となりました。また、大量の補助事実が必要な推論タスクも他の方法では解けないものを解くことができること、そして訓練範囲を超えて一般化できることも示しています。さらに、Children's Book Testのような大規模データセットでも競争力のある性能を得ることができることを示しており、物語を一回で読むことで成績を出しています。