Command Palette
Search for a command to run...
PredRNN: Rekurrente neuronale Netzwerke für prädiktives Lernen mit räumlich-zeitlichen LSTMs
PredRNN: Rekurrente neuronale Netzwerke für prädiktives Lernen mit räumlich-zeitlichen LSTMs
Yunbo Wang Mingsheng Long Jianmin Wang Zhifeng Gao Philip S. Yu
Zusammenfassung
Die prädiktive Lernung von raumzeitlichen Sequenzen zielt darauf ab, zukünftige Bilder durch das Lernen aus historischen Bildern zu generieren, wobei räumliche Erscheinungsformen und zeitliche Veränderungen zwei entscheidende Strukturen darstellen. In diesem Artikel modelliert die vorgestellte prädiktive rekurrente neuronale Netzwerkarchitektur (PredRNN) diese Strukturen, indem sie die Idee aufgreift, dass die prädiktive raumzeitliche Lernung sowohl räumliche Erscheinungsformen als auch zeitliche Veränderungen in einem einheitlichen Gedächtnispool speichern sollte. Konkret sind die Gedächtniszustände nicht länger auf einzelne LSTM-Einheiten beschränkt, sondern können in zwei Richtungen hin und her wechseln: vertikal über die gestapelten RNN-Schichten hinweg und horizontal durch alle RNN-Zustände hindurch. Der Kern dieser Architektur ist eine neue Spatiotemporal-LSTM-(ST-LSTM)-Einheit, die räumliche und zeitliche Darstellungen gleichzeitig extrahiert und speichert. PredRNN erreicht die derzeit beste Vorhersageleistung auf drei Datensätzen für Videovorhersage und stellt zudem einen allgemeineren Rahmen dar, der durch Integration mit anderen Architekturen problemlos auf weitere prädiktive Lernaufgaben erweitert werden kann.