T-Graphormer: Einsatz von Transformers für raumzeitliche Vorhersagen

Spatio-temporale Daten sind allgegenwärtig, und deren Vorhersage hat in vielen Bereichen wichtige Anwendungen. Doch die komplexen Kreuzkomponenten-Abhängigkeiten und nichtlinearen zeitlichen Dynamiken stellen traditionelle Methoden vor Herausforderungen. Bisherige Ansätze adressieren dies, indem sie die beiden Dimensionen getrennt erlernen. Hier stellen wir Temporal Graphormer (T-Graphormer) vor, einen auf Transformers basierenden Ansatz, der spatio-temporale Korrelationen gleichzeitig modellieren kann. Durch die Integration zeitlicher Kodierungen in die Graphormer-Architektur kann jeder Knoten auf alle anderen Tokens innerhalb der Graphsequenz zugreifen, wodurch das Modell reichhaltige Raum-Zeit-Muster erlernen kann, wobei nur minimale vordefinierte induktive Voreingenommenheit erforderlich ist. Wir belegen die Wirksamkeit von T-Graphormer an realen Benchmark-Datensätzen für Verkehrsprognose. Im Vergleich zu state-of-the-art-Methoden reduziert T-Graphormer den Root Mean Squared Error (RMSE) und den Mean Absolute Percentage Error (MAPE) bis zu 20 % bzw. 10 %.