增强外部记忆的神经网络具有学习复杂任务算法解决方案的能力。这些模型在语言建模和机器翻译等应用中展现出巨大的潜力。然而，随着记忆量的增加，它们在空间和时间上的扩展性能较差——限制了其在现实世界领域的应用。本文提出了一种端到端可微分的记忆访问方案，我们称之为稀疏访问记忆（Sparse Access Memory, SAM），该方案保留了原有方法的表现力，同时能够在非常大的记忆库上高效训练。我们证明了SAM在空间和时间复杂度方面达到了渐近下界，并发现其实现比非稀疏模型运行速度快1000倍，物理内存消耗少3000倍。SAM在一系列合成任务和一次性Omniglot字符识别任务中的数据效率与现有模型相当，并且可以扩展到需要数万时间步长和大量记忆的任务。此外，我们还展示了如何将我们的方法适应于维护记忆之间时间关联性的模型，例如最近提出的可微分神经计算机（Differentiable Neural Computer）。