関係再帰型ニューラルネットワーク

メモリベースのニューラルネットワークは、長期間情報を記憶する能力を活用して時系列データをモデル化します。しかし、これらのネットワークが記憶した情報を使って複雑な関係推論を行う能力があるかどうかは明確ではありません。本研究ではまず、標準的なメモリアーキテクチャが実体間のつながりを理解する必要のあるタスク（つまり、関係推論を伴うタスク）で苦戦するという直感を確認します。次に、新しいメモリモジュールである\textit{リレーショナルメモリコア} (RMC) を使用することで、これらの欠点を改善します。RMCはマルチヘッドドット積注意機構を使用してメモリ間の相互作用を可能にします。最後に、RMLが逐次情報におけるより高度な関係推論から利益を得られる可能性のある一連のタスクでテストを行い、強化学習（例：ミニパックマン）、プログラム評価、言語モデル化において大幅な改善が見られることを示しました。WikiText-103、Project Gutenberg、GigaWordデータセットでの最先端の結果を達成しています。