Implizites gestapeltes autoregressives Modell für die Videovorhersage

Die Vorhersage zukünftiger Bildframes wurde bisher hauptsächlich mit zwei Ansätzen angegangen: autoregressiv und nicht-autoregressiv. Autoregressive Methoden beruhen auf der Markov-Annahme und erreichen in den frühen Phasen der Vorhersage eine hohe Genauigkeit, da sich Fehler noch nicht akkumuliert haben. Ihre Leistung neigt jedoch mit zunehmender Anzahl an Zeitschritten abzunehmen. Im Gegensatz dazu können nicht-autoregressive Methoden eine relativ hohe Leistung erzielen, weisen jedoch keine Korrelation zwischen den Vorhersagen einzelner Zeitschritte auf. In diesem Paper stellen wir ein implizites gestapeltes autoregressives Modell für die Videovorhersage (IAM4VP) vor, ein implizites Modell zur Videovorhersage, das eine gestapelte autoregressive Methode anwendet. Ähnlich wie nicht-autoregressive Ansätze nutzen gestapelte autoregressive Methoden den gleichen beobachteten Frame, um alle zukünftigen Frames zu schätzen. Gleichzeitig verwenden sie jedoch ihre eigenen Vorhersagen als Eingabe, was sie der autoregressiven Vorgehensweise annähert. Mit wachsender Anzahl an Zeitschritten werden die Vorhersagen sequenziell in einer Warteschlange gestapelt. Um die Wirksamkeit von IAM4VP zu evaluieren, führten wir Experimente auf drei gängigen Benchmark-Datensätzen für die Vorhersage zukünftiger Frame und auf Benchmark-Datensätzen für Wetter- und Klimavorhersage durch. Die Ergebnisse zeigen, dass unser vorgeschlagenes Modell eine state-of-the-art-Leistung erreicht.