Time-LLM : Prévision de séries temporelles par reprogrammation de grands modèles linguistiques

La prévision de séries temporelles revêt une importance capitale dans de nombreux systèmes dynamiques du monde réel et a fait l’objet de nombreuses études. Contrairement au traitement du langage naturel (NLP) et à la vision par ordinateur (CV), où un seul grand modèle peut aborder plusieurs tâches, les modèles dédiés à la prévision de séries temporelles sont généralement spécialisés, nécessitant des architectures distinctes pour chaque tâche et application. Bien que les modèles fondamentaux pré-entraînés aient réalisé des progrès remarquables dans les domaines du NLP et du CV, leur développement dans le domaine des séries temporelles a été freiné par la rareté des données. Des études récentes ont montré que les grands modèles linguistiques (LLM) possèdent des capacités robustes de reconnaissance de motifs et de raisonnement sur des séquences complexes de tokens. Toutefois, le défi persiste à aligner efficacement les modalités des données séries temporelles et du langage naturel afin d’exploiter ces capacités. Dans ce travail, nous proposons Time-LLM, un cadre de reprogrammation permettant de réutiliser des LLM pour la prévision générale de séries temporelles tout en maintenant intacts les modèles linguistiques sous-jacents. Nous commençons par reprogrammer les séries temporelles d’entrée en les transformant en prototypes textuels avant de les introduire dans un LLM figé, afin d’aligner les deux modalités. Pour renforcer la capacité du LLM à raisonner sur les données séries temporelles, nous introduisons Prompt-as-Prefix (PaP), une stratégie qui enrichit le contexte d’entrée et guide la transformation des patches reprogrammés. Les patches de séries temporelles transformés par le LLM sont ensuite projetés pour produire les prévisions. Nos évaluations approfondies démontrent que Time-LLM est un modèle puissant pour l’apprentissage des séries temporelles, surpassant les modèles spécialisés les plus performants actuellement disponibles. En outre, Time-LLM excelle dans des scénarios de apprentissage à faible exemplaire (few-shot) comme dans ceux à zéro exemplaire (zero-shot).