要約
これまで、外部記憶を備えたニューラルネットワークは、記憶相互作用の損失のある表現に限定されてきた。記憶要素間の関係を豊かに表現するためには、高次かつ分離された関係記憶が求められる。本論文では、個々の経験の記憶（アイテム記憶）とそれらの発生する関係（関係記憶）を分離する手法を提案する。このアイデアは、新たな自己注意型連想記憶（Self-attentive Associative Memory, SAM）演算子によって実現される。SAMは外積に基づき、任意の記憶要素ペア間における仮想的な高次関係を表現する一連の連想記憶を構成し、これによりアイテム記憶から関係記憶を構築する。この2つの記憶は、記憶と関係推論の両方を可能にする単一の順序モデルに統合されている。提案する二記憶モデルは、幾何学、グラフ、強化学習、質問応答といった多様な機械学習タスクにおいて、包括的な性能を達成しており、困難な合成問題から実用的なベンチマークまで、高い競争力を持つ結果を示している。