China's CAS team unveils novel framework for time series forecasting with AI
Récemment, une équipe de recherche du Institut de logiciels de l’Académie des sciences chinoise a proposé un nouveau cadre pour la prévision de séries temporelles, visant à améliorer les performances des grands modèles linguistiques (LLM) dans ce domaine. Face à un défi majeur — l’écart de distribution et de structure entre les données textuelles utilisées lors de la pré-formation et les séries temporelles réelles — les méthodes traditionnelles, comme le fine-tuning complet, s’avèrent coûteuses en ressources et en mémoire, limitant leur application pratique. Pour surmonter ces contraintes, l’équipe a conçu une approche innovante appelée LVICL (Vector-Injected Context Learning), basée sur l’apprentissage par contexte. Cette méthode permet au modèle d’atteindre un effet similaire au fine-tuning sans modifier ses paramètres, en intégrant des exemples de tâche dans les prompts d’entrée. Pour résoudre le problème de sensibilité à l’ordre des exemples, caractéristique de l’apprentissage par contexte, LVICL extrait les représentations vectorielles des exemples et les agrège de manière invariante par permutation, éliminant ainsi l’impact de l’ordre d’apparition. Ensuite, un adaptateur léger est appliqué à ces vecteurs agrégés afin de filtrer les composantes potentiellement perturbatrices et d’améliorer la robustesse face à la sélection des exemples. Ces vecteurs optimisés sont ensuite injectés dans les flux de résidus de chaque couche du modèle linguistique, permettant une guidance précise et contrôlée du processus de prédiction. Évaluée sur plusieurs jeux de données standard de prévision de séries temporelles, la méthode LVICL a démontré une amélioration stable des performances, tout en maintenant le modèle entièrement gelé et en réduisant considérablement les coûts de calcul. Comparée aux méthodes de fine-tuning léger, LVICL s’impose comme une solution plus efficace et performante dans divers scénarios expérimentaux, offrant un meilleur compromis entre précision et efficacité. Les résultats de cette recherche ont été acceptés pour présentation à WWW 2026, l’un des sommets internationaux du domaine du web et des systèmes d’information. Ce travail marque une avancée significative dans l’adaptation des grands modèles linguistiques à des tâches de séries temporelles, ouvrant la voie à des applications plus scalables et pratiques dans des domaines tels que la finance, la météorologie ou la gestion des systèmes industriels.
