Entraînement unifié de transformateurs universels pour la prévision de séries temporelles

L’apprentissage profond pour la prévision de séries temporelles a traditionnellement fonctionné selon un cadre un modèle par jeu de données, limitant ainsi son potentiel à tirer parti de l’impact révolutionnaire des grands modèles pré-entraînés. Le concept de prévision universelle, émergent à partir d’un pré-entraînement sur une vaste collection de jeux de données de séries temporelles, imagine un seul grand modèle de séries temporelles capable de traiter une diversité de tâches de prévision en aval. Toutefois, la construction d’un tel modèle soulève des défis spécifiques aux données de séries temporelles : i) l’apprentissage à travers les fréquences, ii) l’adaptation à un nombre arbitraire de variables pour les séries temporelles multivariées, et iii) la prise en compte des propriétés distributionnelles variables inhérentes aux grands ensembles de données. Pour relever ces défis, nous proposons des améliorations novatrices de l’architecture classique du Transformer pour séries temporelles, menant à notre modèle intitulé Transformer de prévision universelle basé sur un encodeur masqué (Moirai). Entraîné sur notre nouvelle archive ouverte à grande échelle de séries temporelles (LOTSA), comprenant plus de 27 milliards d’observations réparties sur neuf domaines, Moirai atteint des performances compétitives ou supérieures en tant que modèle zéro-shot par rapport à des modèles entraînés en plein (full-shot). Le code, les données et les poids du modèle sont disponibles à l’adresse suivante : https://github.com/SalesforceAIResearch/uni2ts.