近年来，超深卷积神经网络（CNNs）在图像恢复领域受到了广泛关注。然而，随着网络深度的增加，这些超深模型中长期依赖问题却很少被重视，导致先前状态或层对后续层的影响微乎其微。受人类思维具有持续性的启发，我们提出了一种超深持续记忆网络（MemNet），该网络引入了一种记忆模块，由递归单元和门控单元构成，通过自适应学习过程显式挖掘持续记忆。递归单元在不同感受野下学习当前状态的多层级表示。这些表示与前序记忆模块的输出进行拼接，并输入至门控单元，由其自适应地控制应保留的先前状态比例，并决定当前状态应存储的信息量。我们将MemNet应用于三项图像恢复任务：图像去噪、超分辨率重建以及JPEG块效应去除。大量实验结果表明，MemNet具有必要性，并在所有三项任务上均显著优于现有最先进方法。代码已开源，地址为：https://github.com/tyshiwo/MemNet。