Nur die Kurvenform zählt: Training von Foundation Models für zero-shot multivariate Zeitreihen-Vorhersage durch Vorhersage der nächsten Kurvenform

Wir präsentieren den General Time Transformer (GTT), ein nur aus einem Encoder bestehendes Grundmodell für die zero-shot-Vorhersage mehrdimensionaler Zeitreihen. GTT wird auf einem großen Datensatz aus 200 Millionen hochwertigen Zeitreihenproben trainiert, die sich über verschiedene Domänen erstrecken. In unserem vorgeschlagenen Ansatz wird die Aufgabe der mehrdimensionalen Zeitreihenprognose als Aufgabe der kanalweisen Vorhersage der nächsten Kurvenform formuliert, wobei jede Zeitreihenprobe als Folge nicht überlappender Kurvenformen mit einheitlicher numerischer Größenordnung dargestellt wird. GTT wird kanalweise trainiert, um die nächste Kurvenform basierend auf einem Fenster vergangener Kurvenformen vorherzusagen. Experimentelle Ergebnisse zeigen, dass GTT ausgezeichnete zero-shot-Fähigkeiten für die Vorhersage bisher unbekannter Zeitreihendatensätze aufweist und selbst state-of-the-art-Überwachungsbaselines übertreffen kann. Zudem untersuchen wir den Einfluss variierender GTT-Modellparameter und Skalen des Trainingsdatensatzes und beobachten, dass auch im Kontext der zero-shot-Vorhersage mehrdimensionaler Zeitreihen eine Skalierungsgesetzmäßigkeit gilt.