Amélioration des classificateurs de séries temporelles multivariées par l’infusion d’attention auto-associative et de position relative

La classification des séries temporelles (TSC) constitue une tâche importante et délicate dans de nombreuses applications du calcul visuel. Malgré la grande diversité de méthodes développées pour la TSC, un nombre relativement faible d'entre elles a recouru aux réseaux de neurones profonds (DNN). Dans cet article, nous proposons deux nouveaux blocs d'attention (l'attention temporelle globale et l'attention auto-associative augmentée par pseudo-gaussienne temporelle, TPS) capables d'améliorer les approches de TSC basées sur l'apprentissage profond, même lorsque ces approches sont conçues et optimisées pour un jeu de données ou une tâche spécifique. Nous validons cette affirmation en évaluant plusieurs modèles de TSC basés sur l'apprentissage profond d'avant-garde sur la base de référence UEA (University of East Anglia), une collection standardisée de 30 jeux de données de classification de séries temporelles multivariées (MTSC). Nous démontrons que l'ajout des blocs d'attention proposés améliore la précision moyenne des modèles de base jusqu'à 3,6 %. En outre, le bloc TPS introduit un nouveau module d'injection permettant de prendre en compte les informations de position relative dans les transformateurs. En tant qu'unité autonome à complexité computationnelle réduite, il permet au TPS de surpasser la plupart des méthodes DNN d'avant-garde pour la TSC. Les codes sources de nos configurations expérimentales ainsi que des blocs d'attention proposés sont mis à disposition publiquement.