Yong Liu Guo Qin Zhiyuan Shi Zhi Chen Caiyin Yang Xiangdong Huang Jianmin Wang Mingsheng Long

Résumé

Nous présentons Sundial, une famille de modèles fondamentaux de séries temporelles natifs, flexibles et évolutifs. Pour prédire la distribution du prochain patch, nous proposons une perte TimeFlow basée sur l'appariement de flux (flow-matching), ce qui facilite l'entraînement préalable natif des Transformers sur des séries temporelles à valeurs continues sans tokenisation discrète. Conditionnés à des séries temporelles de longueur arbitraire, nos modèles sont entraînés préalablement sans spécifier aucune distribution a priori et peuvent générer plusieurs prédictions probables, offrant ainsi plus de flexibilité dans l'apprentissage des représentations que l'utilisation de densités paramétriques. Dans le cadre des modèles fondamentaux de séries temporelles, nous utilisons des adaptations minimales mais cruciales des Transformers et avons constitué TimeBench avec un trillion de points temporels, comprenant principalement des ensembles de données réels et des données synthétiques. En atténuant le collapse modal grâce à la perte TimeFlow, nous entraînons préalablement une famille de modèles Sundial sur TimeBench, atteignant ainsi une capacité et une performance de généralisation sans précédent. Outre son excellente évolutivité, Sundial obtient des résultats d'avant-garde sur les bancs d'essai de prévision ponctuelle et probabiliste avec une vitesse d'inférence juste-à-temps, c'est-à-dire effectuant des prédictions zero-shot en quelques millisecondes. Nous croyons que la capacité générative novatrice de Sundial peut améliorer la fiabilité des modèles dans la prise de décision en milieu réel. Le code est disponible à cette adresse : ce lien.