メモリインメモリ：時空間動態から高次非定常性を学習する予測ニューラルネットワーク

自然な空間時間プロセスは、多くの面で非常に非定常的である可能性があります。例えば、局所ピクセル値の空間相関や時間依存性のような低レベルの非定常性；降水予報におけるレーダー反射の蓄積、変形、または消失などの高レベルの変動です。クラメールの分解によれば、任意の非定常過程は確定的な時間変動多項式とゼロ平均の確率項に分解することができます。適切な差分操作を適用することで、時間変動多項式を定数に変換し、確定的な成分を予測可能にすることができます。しかし、これまでの空間時間予測用再帰型ニューラルネットワーク（RNN）は差分信号を効果的に利用せず、比較的単純な状態遷移関数により空間時間内の複雑な変動を学習することができませんでした。この目的のために、私たちはメモリ・イン・メモリ（MIM）ネットワークおよび対応する再帰ブロックを提案します。MIMブロックは隣接する再帰状態間の差分信号を利用し、二つの連続する自己更新メモリモジュールによって空間時間ダイナミクス内の非定常性と概ね定常性をモデル化します。複数のMIMブロックを重ねることで、より高次の非定常性に対処できる可能性があります。MIMネットワークは合成データセットと実世界データセットの両方において4つの空間時間予測タスクで最先端の結果を達成しています。私たちはこの研究の一貫したアイデアが他の時系列予測タスクにも潜在的に適用できると考えています。