HyperAIHyperAI

Command Palette

Search for a command to run...

AutoTimes: Autoregressive Time Series Forecasters via Large Language Models

Yong Liu Guo Qin Xiangdong Huang Jianmin Wang Mingsheng Long

Zusammenfassung

Zeitreihen-Grundmodelle sind aufgrund der begrenzten Verfügbarkeit von Zeitreihen-Korpora und der unzureichenden Erforschung skalierbarer Vortrainings noch nicht vollständig entwickelt. Aufgrund der ähnlichen sequenziellen Struktur von Zeitreihen und natürlicher Sprache zeigen zunehmend mehr Forschungsarbeiten die Machbarkeit, große Sprachmodelle (LLM) für Zeitreihen zu nutzen. Dennoch wurden die inhärenten autoregressiven Eigenschaften und die decoder-only-Architektur von LLMs bisher nicht ausreichend berücksichtigt, was zu einer ungenügenden Ausnutzung der Fähigkeiten von LLMs führt. Um das allgemeine Potenzial der Token-Übergänge und der mehrschrittigen Generierung großer Sprachmodelle vollständig zu erschließen, schlagen wir AutoTimes vor, um LLMs als autoregressive Zeitreihenvorhersager neu zu konzipieren. Dabei werden Zeitreihen in den Embedding-Raum sprachbasierter Tokens projiziert, und zukünftige Vorhersagen werden autoregressiv mit beliebiger Länge generiert. AutoTimes ist mit beliebigen decoder-only LLMs kompatibel und zeichnet sich durch Flexibilität hinsichtlich der Rückblicklänge sowie Skalierbarkeit bei größeren LLMs aus. Zudem formulieren wir Zeitreihen als Eingabeprompts, wodurch der Kontext für die Vorhersage über den Rückblickzeitraum hinaus erweitert wird – ein Ansatz, der als in-context Forecasting bezeichnet wird. Durch die Einführung von LLM-embeddeten textuellen Zeitstempeln kann AutoTimes chronologische Informationen nutzen, um mehrdimensionale Zeitreihen zu alignieren. Empirisch erreicht AutoTimes einen SOTA-Ergebnisstand mit lediglich 0,1 % trainierbaren Parametern und einer mehr als 5-fachen Steigerung der Trainings- und Inferenzgeschwindigkeit im Vergleich zu fortschrittlichen LLM-basierten Vorhersagemodellen. Der Quellcode ist unter folgendem Repository verfügbar: https://github.com/thuml/AutoTimes.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
AutoTimes: Autoregressive Time Series Forecasters via Large Language Models | Paper | HyperAI