Mélange de Experts Linéaires pour la Prévision à Long Terme de Séries Temporelles

La prévision à long terme des séries temporelles (LTSF) vise à estimer les valeurs futures d'une série temporelle à partir de ses valeurs passées. L'état de l'art actuel (SOTA) de ce problème est atteint, dans certains cas, par des modèles centrés sur des architectures linéaires, qui reposent principalement sur une couche de transformation linéaire. Toutefois, en raison de leur simplicité intrinsèque, ces modèles ne parviennent pas à adapter leurs règles de prédiction aux variations périodiques des motifs des séries temporelles. Pour relever ce défi, nous proposons une extension inspirée du modèle Mixture-of-Experts (MoE) pour les modèles centrés sur la linéarité, et introduisons le Mixture-of-Linear-Experts (MoLE). Contrairement à l'entraînement d'un seul modèle, MoLE entraîne plusieurs modèles linéaires (appelés « experts ») ainsi qu'un modèle « routeur » chargé de pondérer et de combiner leurs sorties. Bien que le cadre entier soit entraîné de manière end-to-end, chaque expert apprend à se spécialiser dans un motif temporel spécifique, tandis que le modèle routeur apprend à composer de manière adaptative les experts. Les expérimentations montrent que MoLE réduit l'erreur de prévision des modèles linéaires, y compris DLinear, RLinear et RMLP, dans plus de 78 % des jeux de données et des configurations testées. En intégrant MoLE, les modèles linéaires existants parviennent à obtenir des résultats SOTA en LTSF dans 68 % des expérimentations comparées à PatchTST, contre seulement 25 % pour les modèles linéaires à tête unique existants.