Memory In Memory: Ein vorhersagendes neuronales Netzwerk zum Lernen höherer Nichtstationarität aus räumlich-zeitlichen Dynamiken

Natürliche räumlich-zeitliche Prozesse können auf vielfältige Weise stark nichtstationär sein, zum Beispiel durch niedrigstufige Nichtstationaritäten wie räumliche Korrelationen oder zeitliche Abhängigkeiten von lokalen Pixelwerten, und durch hochstufige Variationen wie die Akkumulation, Deformation oder Auflösung von Radar-Echos in Niederschlagsvorhersagen. Gemäß der Cramerschen Zerlegung kann jeder nichtstationäre Prozess in deterministische, zeitvariante Polynome sowie einen stochastischen Term mit Null-Mittelwert zerlegt werden. Durch geeignete Anwendung von Differenzierungsoperationen kann man zeitvariante Polynome in eine Konstante umwandeln, wodurch das deterministische Komponente vorhersagbar wird. Allerdings nutzen die meisten bisherigen rekurrenten Neuronalen Netze für räumlich-zeitliche Vorhersagen die Differentialsignale nicht effektiv aus, und ihre vergleichsweise einfachen Zustandsübergangsfunktionen verhindern es, dass sie zu komplizierte Variationen im Raum-Zeit-Kontinuum lernen können. Wir schlagen die Memory In Memory (MIM) Netzwerke und entsprechenden rekurrenten Blöcke für diesen Zweck vor. Die MIM-Blöcke nutzen die Differentialsignale zwischen benachbarten rekurrenten Zuständen, um die nichtstationären und annähernd stationären Eigenschaften in räumlich-zeitlichen Dynamiken mit zwei kaskadierten, selbst erneuernden Speichermodulen zu modellieren. Durch den Stapel mehrerer MIM-Blöcke könnte man potentiell höhere Ordnungen der Nichtstationarität behandeln. Die MIM-Netzwerke erzielen Stand-des-Wissens-Ergebnisse bei vier räumlich-zeitlichen Vorhersageaufgaben sowohl an synthetischen als auch an realweltlichen Datensätzen. Wir glauben, dass das allgemeine Konzept dieser Arbeit potentiell auf andere Zeitreihenvorhersageaufgaben angewendet werden kann.