UniTS : un modèle unifié pour plusieurs tâches sur séries temporelles

Bien que les transformateurs pré-entraînés et les grands modèles linguistiques (LLM) réprogrammés basés sur le texte aient démontré des performances solides sur les tâches liées aux séries temporelles, les architectures les plus performantes varient considérablement selon les tâches, la plupart étant étroitement spécialisées dans des domaines spécifiques, comme la prévision de séries temporelles. L’unification des tâches prédictives et génératives dans une même architecture reste un défi. Nous introduisons UniTS, un modèle unifié multi-tâches pour les séries temporelles, qui utilise une tokenisation des tâches pour intégrer les tâches prédictives et génératives dans un cadre unique. UniTS repose sur un bloc transformateur modifié permettant de capturer des représentations universelles des séries temporelles, ce qui garantit une transférabilité à partir d’un jeu de données pré-entraînées hétérogènes et multi-domaines — caractérisé par des motifs dynamiques variés, des fréquences d’échantillonnage disparates et des échelles temporelles diverses — vers une large gamme de jeux de données en aval, avec des spécifications de tâches et des domaines de données variés. Évalué sur 38 jeux de données provenant de capteurs d’activités humaines, de santé, d’ingénierie et de finance, UniTS obtient des performances supérieures à celles de 12 modèles de prévision, 20 modèles de classification, 18 modèles de détection d’anomalies et 16 modèles d’imputation, y compris des LLM basés sur le texte adaptés. UniTS démontre également une forte capacité en apprentissage peu supervisé (few-shot) et en prise en charge de prompts lorsqu’il est appliqué à de nouveaux domaines et tâches. Dans des configurations mono-tâche, UniTS surpasser les modèles spécialisés compétitifs pour les séries temporelles. Le code et les jeux de données sont disponibles à l’adresse https://github.com/mims-harvard/UniTS.