AutoTimes: Autoregressive Time Series Forecasters via Large Language Models

Zeitreihen-Grundmodelle sind aufgrund der begrenzten Verfügbarkeit von Zeitreihen-Korpora und der unzureichenden Erforschung skalierbarer Vortrainings noch nicht vollständig entwickelt. Aufgrund der ähnlichen sequenziellen Struktur von Zeitreihen und natürlicher Sprache zeigen zunehmend mehr Forschungsarbeiten die Machbarkeit, große Sprachmodelle (LLM) für Zeitreihen zu nutzen. Dennoch wurden die inhärenten autoregressiven Eigenschaften und die decoder-only-Architektur von LLMs bisher nicht ausreichend berücksichtigt, was zu einer ungenügenden Ausnutzung der Fähigkeiten von LLMs führt. Um das allgemeine Potenzial der Token-Übergänge und der mehrschrittigen Generierung großer Sprachmodelle vollständig zu erschließen, schlagen wir AutoTimes vor, um LLMs als autoregressive Zeitreihenvorhersager neu zu konzipieren. Dabei werden Zeitreihen in den Embedding-Raum sprachbasierter Tokens projiziert, und zukünftige Vorhersagen werden autoregressiv mit beliebiger Länge generiert. AutoTimes ist mit beliebigen decoder-only LLMs kompatibel und zeichnet sich durch Flexibilität hinsichtlich der Rückblicklänge sowie Skalierbarkeit bei größeren LLMs aus. Zudem formulieren wir Zeitreihen als Eingabeprompts, wodurch der Kontext für die Vorhersage über den Rückblickzeitraum hinaus erweitert wird – ein Ansatz, der als in-context Forecasting bezeichnet wird. Durch die Einführung von LLM-embeddeten textuellen Zeitstempeln kann AutoTimes chronologische Informationen nutzen, um mehrdimensionale Zeitreihen zu alignieren. Empirisch erreicht AutoTimes einen SOTA-Ergebnisstand mit lediglich 0,1 % trainierbaren Parametern und einer mehr als 5-fachen Steigerung der Trainings- und Inferenzgeschwindigkeit im Vergleich zu fortschrittlichen LLM-basierten Vorhersagemodellen. Der Quellcode ist unter folgendem Repository verfügbar: https://github.com/thuml/AutoTimes.