HyperAIHyperAI

Command Palette

Search for a command to run...

Memory In Memory: Ein vorhersagendes neuronales Netzwerk zum Lernen höherer Nichtstationarität aus räumlich-zeitlichen Dynamiken

Yunbo Wang* Jianjin Zhang* Hongyu Zhu Mingsheng Long (✉) Jianmin Wang Philip S. Yu

Zusammenfassung

Natürliche räumlich-zeitliche Prozesse können auf vielfältige Weise stark nichtstationär sein, zum Beispiel durch niedrigstufige Nichtstationaritäten wie räumliche Korrelationen oder zeitliche Abhängigkeiten von lokalen Pixelwerten, und durch hochstufige Variationen wie die Akkumulation, Deformation oder Auflösung von Radar-Echos in Niederschlagsvorhersagen. Gemäß der Cramerschen Zerlegung kann jeder nichtstationäre Prozess in deterministische, zeitvariante Polynome sowie einen stochastischen Term mit Null-Mittelwert zerlegt werden. Durch geeignete Anwendung von Differenzierungsoperationen kann man zeitvariante Polynome in eine Konstante umwandeln, wodurch das deterministische Komponente vorhersagbar wird. Allerdings nutzen die meisten bisherigen rekurrenten Neuronalen Netze für räumlich-zeitliche Vorhersagen die Differentialsignale nicht effektiv aus, und ihre vergleichsweise einfachen Zustandsübergangsfunktionen verhindern es, dass sie zu komplizierte Variationen im Raum-Zeit-Kontinuum lernen können. Wir schlagen die Memory In Memory (MIM) Netzwerke und entsprechenden rekurrenten Blöcke für diesen Zweck vor. Die MIM-Blöcke nutzen die Differentialsignale zwischen benachbarten rekurrenten Zuständen, um die nichtstationären und annähernd stationären Eigenschaften in räumlich-zeitlichen Dynamiken mit zwei kaskadierten, selbst erneuernden Speichermodulen zu modellieren. Durch den Stapel mehrerer MIM-Blöcke könnte man potentiell höhere Ordnungen der Nichtstationarität behandeln. Die MIM-Netzwerke erzielen Stand-des-Wissens-Ergebnisse bei vier räumlich-zeitlichen Vorhersageaufgaben sowohl an synthetischen als auch an realweltlichen Datensätzen. Wir glauben, dass das allgemeine Konzept dieser Arbeit potentiell auf andere Zeitreihenvorhersageaufgaben angewendet werden kann.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp