HyperAIHyperAI

Command Palette

Search for a command to run...

Selbst-Attention ConvLSTM für raumzeitliche Vorhersage

Chun Yuan Yangyang Cheng Zhuobin Zheng Maomao Li Zhihui Lin

Zusammenfassung

Die raumzeitliche Vorhersage ist aufgrund der komplexen dynamischen Bewegungs- und Erscheinungsmuster herausfordernd. Bestehende Ansätze konzentrieren sich darauf, zusätzliche Zellen in den herkömmlichen ConvLSTM zu integrieren, um räumliche Erscheinungsbilder während der Vorhersage zu speichern. Diese Modelle beruhen stets auf Faltungsnetzwerken zur Erfassung räumlicher Abhängigkeiten, die jedoch lokal und ineffizient sind. Langstreckenräumliche Abhängigkeiten sind jedoch für räumliche Anwendungen von entscheidender Bedeutung. Um räumliche Merkmale sowohl mit globalen als auch lokalen Abhängigkeiten zu extrahieren, führen wir die Selbst-Attention-Mechanismus in den ConvLSTM ein. Konkret wird ein neuartiger Selbst-Attention-Speicher (SAM) vorgeschlagen, der Merkmale mit langstreckigen Abhängigkeiten sowohl im räumlichen als auch im zeitlichen Bereich speichert. Auf Basis der Selbst-Attention kann der SAM Merkmale generieren, indem er Merkmale aus allen Positionen sowohl des Eingabedatens als auch der Speichermerkmale aggregiert, wobei Paarweises Ähnlichkeitsmaß verwendet wird. Darüber hinaus wird der zusätzliche Speicher durch ein Gating-Mechanismus auf Basis aggregierter Merkmale und einer etablierten Highway-Verbindung, die den Speicher des vorherigen Zeitschritts nutzt, aktualisiert. Dadurch ermöglicht der SAM die Extraktion von Merkmalen mit langstreckigen raumzeitlichen Abhängigkeiten. Zudem integrieren wir den SAM in einen herkömmlichen ConvLSTM, um einen Selbst-Attention-ConvLSTM (SA-ConvLSTM) für die raumzeitliche Vorhersage zu konstruieren. In Experimenten wenden wir den SA-ConvLSTM auf die Frame-Vorhersage auf den MovingMNIST- und KTH-Datensätzen sowie auf die Verkehrsflussvorhersage auf dem TexiBJ-Datensatz an. Unser SA-ConvLSTM erreicht auf beiden Datensätzen Ergebnisse auf State-of-the-Art-Niveau, wobei er weniger Parameter benötigt und eine höhere Zeit-Effizienz gegenüber dem bisherigen State-of-the-Art-Verfahren aufweist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Selbst-Attention ConvLSTM für raumzeitliche Vorhersage | Paper | HyperAI