Temporale Aufmerksamkeits-Einheit: Ein Weg hin zu effizienter spatiotemporaler prädiktiver Lernverfahren

Spatiotemporale prädiktive Lernverfahren zielen darauf ab, zukünftige Frames durch Lernen aus historischen Frames zu generieren. In diesem Artikel untersuchen wir bestehende Methoden und stellen einen allgemeinen Rahmen für spatiotemporales prädiktives Lernen vor, bei dem der räumliche Encoder und Decoder intra-frame Merkmale erfassen und das mittlere zeitliche Modul inter-frame Korrelationen erfasst. Während die gängigen Ansätze rekurrente Einheiten verwenden, um langfristige zeitliche Abhängigkeiten zu erfassen, leiden sie aufgrund ihrer nicht parallelisierbaren Architekturen unter geringer rechnerischer Effizienz. Um das zeitliche Modul zu parallelisieren, schlagen wir die Temporale Aufmerksamkeits-Einheit (Temporal Attention Unit, TAU) vor, die die zeitliche Aufmerksamkeit in statische intra-frame Aufmerksamkeit und dynamische inter-frame Aufmerksamkeit zerlegt. Darüber hinaus berücksichtigt die herkömmliche Mean-Squared-Error-Verlustfunktion ausschließlich intra-frame Fehler; wir führen daher eine neuartige differenzielle Divergenz-Regularisierung ein, um inter-frame Variationen angemessen zu erfassen. Umfassende Experimente zeigen, dass die vorgeschlagene Methode es dem abgeleiteten Modell ermöglicht, wettbewerbsfähige Ergebnisse auf verschiedenen Benchmarks für spatiotemporale Vorhersage zu erzielen.