在预测人类行为（如未来轨迹）时，对人类交互关系进行有效建模具有至关重要的意义。每个人在运动过程中都会对周围其他个体产生影响，因为所有个体都遵循诸如避障或群体跟随等社会性非正式规则。本文从算法视角出发，将这一持续动态演化的交互过程视为一种数据操作任务，对交互关系进行建模。我们提出一种基于端到端可训练工作记忆的神经网络架构，该架构作为外部存储器，能够持续地对每个智能体的信息进行写入、更新与调用。实验结果表明，该方法能够有效学习不同智能体运动之间的可解释性因果关系，并在多个轨迹预测数据集上取得了当前最先进的性能。