Raumzeitlich-dekupelte maskierte Vortrainierung für raumzeitliche Vorhersagen

Spatiotemporale Vorhersagemethoden sind für verschiedene Bereiche wie Verkehr, Energieversorgung und Wettervorhersage von großer Bedeutung. Die präzise Vorhersage spatiotemporaler Zeitreihen bleibt aufgrund der komplexen spatiotemporalen Heterogenität herausfordernd. Insbesondere sind aktuelle End-to-End-Modelle durch die Länge der Eingabedaten begrenzt und neigen häufig zu einem spatiotemporalen Spiegelbild (spatiotemporal mirage), d. h., dass ähnliche Eingabereihen zu unterschiedlichen zukünftigen Werten führen können und umgekehrt. Um diese Probleme zu lösen, schlagen wir einen neuartigen selbstüberwachten Vortrainingsansatz namens Spatial-Temporal-Decoupled Masked Pre-training (STD-MAE) vor, der zwei entkoppelte maskierte Autoencoder nutzt, um spatiotemporale Zeitreihen entlang der räumlichen und zeitlichen Dimensionen zu rekonstruieren. Durch diese Rekonstruktion erlernte reichhaltige Kontextrepräsentationen können nahtlos von nachgeschalteten Vorhersagemodellen mit beliebigen Architekturen integriert werden, um deren Leistung zu verbessern. Eine Reihe quantitativer und qualitativer Evaluierungen an sechs weit verbreiteten Benchmarks (PEMS03, PEMS04, PEMS07, PEMS08, METR-LA und PEMS-BAY) bestätigt die state-of-the-art-Leistungsfähigkeit von STD-MAE. Der Quellcode ist unter https://github.com/Jimmy-7664/STD-MAE verfügbar.