人間同士の相互作用を効果的にモデル化することは、将来の軌道予測のような行動予測において極めて重要である。個々の人物の運動は、衝突回避や集団追随といった社会的非公式ルールに従うため、周囲のエージェントに常に影響を与えている。本論文では、このような時間とともに変化し続ける相互作用を、アルゴリズム的視点、すなわちデータ操作タスクとして捉えることでモデル化する。我々は、エンドツーエンドで学習可能なワーキングメモリを基盤とするニューラルネットワークを提案する。このメモリは外部記憶装置として機能し、各エージェントに関する情報を継続的に書き込み、更新、再読出ることができる。実験の結果、本手法が異なるエージェント間の説明可能な因果関係を学習可能であり、複数の軌道予測データセットにおいて最先端の性能を達成できることを示した。