Réseaux antagonistes génératifs Transformer pour séries temporelles

De nombreuses tâches du monde réel sont entravées par des limitations sur les données : dans certains cas, très peu de données sont disponibles, tandis que dans d'autres, celles-ci sont protégées par des réglementations de protection de la vie privée (par exemple, le RGPD). Nous nous intéressons spécifiquement aux contraintes pesant sur les séries temporelles et proposons un modèle capable de générer des séries temporelles synthétiques pouvant servir de substitution aux données réelles. Un modèle de génération de séries temporelles synthétiques doit remplir deux objectifs : 1) capturer la distribution conditionnelle par étapes des séquences réelles, et 2) modéliser fidèlement la distribution conjointe de l'ensemble des séquences réelles. Les modèles autorégressifs entraînés par estimation de maximum de vraisemblance peuvent être utilisés dans un système où les prédictions antérieures sont réinjectées pour prédire les suivantes ; toutefois, dans de tels modèles, les erreurs s'accumulent au fil du temps. En outre, une valeur initiale plausible est nécessaire, ce qui rend les modèles basés sur la vraisemblance peu véritablement génératifs. Étant donné que de nombreuses tâches ultérieures consistent à modéliser les distributions conditionnelles des séries temporelles, les données synthétiques issues d'un modèle génératif doivent satisfaire à la fois le point 1) et le point 2). Nous présentons TsT-GAN, un cadre fondé sur l'architecture Transformer, qui répond à ces exigences, et comparons ses performances à celles de cinq modèles d'état de l'art sur cinq jeux de données, démontrant ainsi que TsT-GAN atteint une meilleure performance prédictive sur l'ensemble des jeux de données.