Selbst-Attention ConvLSTM für raumzeitliche Vorhersage

Die raumzeitliche Vorhersage ist aufgrund der komplexen dynamischen Bewegungs- und Erscheinungsmuster herausfordernd. Bestehende Ansätze konzentrieren sich darauf, zusätzliche Zellen in den herkömmlichen ConvLSTM zu integrieren, um räumliche Erscheinungsbilder während der Vorhersage zu speichern. Diese Modelle beruhen stets auf Faltungsnetzwerken zur Erfassung räumlicher Abhängigkeiten, die jedoch lokal und ineffizient sind. Langstreckenräumliche Abhängigkeiten sind jedoch für räumliche Anwendungen von entscheidender Bedeutung. Um räumliche Merkmale sowohl mit globalen als auch lokalen Abhängigkeiten zu extrahieren, führen wir die Selbst-Attention-Mechanismus in den ConvLSTM ein. Konkret wird ein neuartiger Selbst-Attention-Speicher (SAM) vorgeschlagen, der Merkmale mit langstreckigen Abhängigkeiten sowohl im räumlichen als auch im zeitlichen Bereich speichert. Auf Basis der Selbst-Attention kann der SAM Merkmale generieren, indem er Merkmale aus allen Positionen sowohl des Eingabedatens als auch der Speichermerkmale aggregiert, wobei Paarweises Ähnlichkeitsmaß verwendet wird. Darüber hinaus wird der zusätzliche Speicher durch ein Gating-Mechanismus auf Basis aggregierter Merkmale und einer etablierten Highway-Verbindung, die den Speicher des vorherigen Zeitschritts nutzt, aktualisiert. Dadurch ermöglicht der SAM die Extraktion von Merkmalen mit langstreckigen raumzeitlichen Abhängigkeiten. Zudem integrieren wir den SAM in einen herkömmlichen ConvLSTM, um einen Selbst-Attention-ConvLSTM (SA-ConvLSTM) für die raumzeitliche Vorhersage zu konstruieren. In Experimenten wenden wir den SA-ConvLSTM auf die Frame-Vorhersage auf den MovingMNIST- und KTH-Datensätzen sowie auf die Verkehrsflussvorhersage auf dem TexiBJ-Datensatz an. Unser SA-ConvLSTM erreicht auf beiden Datensätzen Ergebnisse auf State-of-the-Art-Niveau, wobei er weniger Parameter benötigt und eine höhere Zeit-Effizienz gegenüber dem bisherigen State-of-the-Art-Verfahren aufweist.