FiLM : Modèle de mémoire Legendre amélioré en fréquence pour la prévision à long terme de séries temporelles

Des études récentes ont montré que les modèles d'apprentissage profond tels que les réseaux de neurones récurrents (RNN) et les Transformers ont permis des progrès significatifs dans la prévision à long terme des séries temporelles, en raison de leur capacité à exploiter efficacement les informations historiques. Toutefois, nous avons constaté qu’il reste un potentiel important à exploiter en ce qui concerne la préservation des informations historiques au sein des réseaux de neurones, tout en évitant le surajustement aux bruits présents dans l’historique. Résoudre ce problème permet une utilisation plus efficace des capacités des modèles d’apprentissage profond. À cette fin, nous proposons un modèle de mémoire amélioré par fréquence, appelé FiLM (Frequency-improved Legendre Memory) : il applique des projections par polynômes de Legendre pour approximer les informations historiques, utilise une projection de Fourier pour éliminer le bruit, et intègre une approximation de faible rang afin d’accélérer les calculs. Nos études expérimentales démontrent que le modèle FiLM améliore significativement la précision des modèles de pointe dans les prévisions à long terme, tant univariées que multivariées, respectivement de 20,3 % et 22,6 %. Nous montrons également que le module de représentation développé dans ce travail peut être utilisé de manière générale comme un composant plug-in pour améliorer les performances de prévision à long terme d’autres modèles d’apprentissage profond. Le code est disponible à l’adresse suivante : https://github.com/tianzhou2011/FiLM/