摘要
人类能够快速将不同刺激关联起来，从而在新情境中解决问题。我们提出了一种新型神经网络模型，该模型能够学习事实的状态表示，并通过组合这些表示实现此类关联推理。为此，我们在LSTM模型中引入了一种称为快速权重记忆（Fast Weight Memory, FWM）的关联记忆机制。在输入序列的每一步，通过可微分的操作，LSTM能够动态更新并维护存储在快速变化的FWM权重中的组合性关联。该模型通过梯度下降实现端到端训练，在组合性语言推理任务、部分可观测马尔可夫决策过程（POMDPs）的元强化学习以及小规模词汇级语言建模任务中均表现出色。