AutoTimes : Prévision de séries temporelles autoreprésentatives à l’aide de grands modèles linguistiques

Les modèles fondamentaux pour les séries temporelles n’ont pas encore été pleinement développés en raison de la disponibilité limitée de corpus de séries temporelles et de l’exploration insuffisante des méthodes d’entraînement préalable évolutives. À la lumière de la formulation séquentielle similaire entre les séries temporelles et le langage naturel, des recherches croissantes démontrent la faisabilité d’exploiter les grands modèles linguistiques (LLM) pour les séries temporelles. Toutefois, la propriété autoregressive intrinsèque et l’architecture à décodeur unique des LLM n’ont pas été pleinement prises en compte, entraînant une utilisation insuffisante de leurs capacités. Afin de réactiver pleinement la transition généraliste entre tokens et la capacité de génération multi-étapes des grands modèles linguistiques, nous proposons AutoTimes, une méthode qui réaffecte les LLM comme modèles de prévision autoregressifs pour les séries temporelles. Cette approche projette les séries temporelles dans l’espace d’embedding des tokens linguistiques et génère de manière autoregressive des prévisions futures de longueur arbitraire. Compatible avec tout LLM à architecture à décodeur unique, le modèle résultant offre une flexibilité quant à la longueur de la fenêtre d’historique (lookback) et une évolutivité accrue avec des LLM plus volumineux. En outre, nous formulons les séries temporelles sous forme de prompts, étendant ainsi le contexte de prédiction au-delà de la fenêtre d’historique, une approche que nous appelons prévision in-context. En intégrant des horodatages textuels embarqués dans les LLM, AutoTimes peut exploiter l’information chronologique pour aligner les séries temporelles multivariées. Expérimentalement, AutoTimes atteint un état de l’art avec seulement 0,1 % de paramètres ajustables, tout en offrant un gain de vitesse supérieur à 5× pendant l’entraînement et la prédiction par rapport aux modèles précurseurs basés sur les LLM. Le code est disponible à l’adresse suivante : https://github.com/thuml/AutoTimes.