关系循环神经网络

基于记忆的神经网络通过利用长时间记住信息的能力来建模时序数据。然而，目前尚不清楚这些网络是否也能够对其记住的信息进行复杂的关联推理。首先，我们验证了标准记忆架构在涉及实体间连接方式理解的任务中可能表现不佳——即涉及关联推理的任务。随后，我们通过引入一种新的记忆模块——关联记忆核心（Relational Memory Core, RMC）——来改进这一不足，该模块使用多头点积注意力机制使记忆之间能够相互作用。最后，我们在一系列可能从更强大的序列信息关联推理中受益的任务上测试了RMC，并展示了在强化学习领域（例如Mini PacMan）、程序评估和语言建模方面取得了显著的性能提升，在WikiText-103、Project Gutenberg和GigaWord数据集上达到了最先进的结果。