记忆中的记忆：一种用于从时空动态中学习高阶非平稳性的预测神经网络

自然时空过程在许多方面可能表现出高度的非平稳性，例如低层次的非平稳性，如空间相关性或局部像素值的时间依赖性；以及高层次的变化，如降水预报中雷达回波的累积、变形或消散。根据克拉默分解（Cramer's Decomposition），任何非平稳过程都可以分解为确定性的时变多项式加上一个零均值随机项。通过适当应用差分操作，我们可以将时变多项式转化为常数，从而使确定性成分变得可预测。然而，大多数用于时空预测的循环神经网络未能有效利用差分信号，并且其相对简单的状态转换函数限制了它们学习时空中的复杂变化的能力。为此，我们提出了记忆中记忆（Memory In Memory, MIM）网络及其相应的循环块。MIM块利用相邻循环状态之间的差分信号，通过两个级联的自更新记忆模块来建模时空动态中的非平稳性和近似平稳性属性。通过堆叠多个MIM块，我们有可能处理更高阶的非平稳性。MIM网络在合成数据集和真实世界数据集上的四个时空预测任务中取得了最先进的结果。我们认为这项工作的基本思想可以潜在地应用于其他时间序列预测任务。