Amélioration du codage de position des Transformers pour la classification des séries temporelles multivariées

Les Transformers ont fait preuve d’une performance remarquable dans de nombreuses applications du deep learning. Lorsqu’ils sont appliqués aux données temporelles, les Transformers nécessitent une encodage de position efficace afin de capturer l’ordre des séries temporelles. L’efficacité de l’encodage de position dans l’analyse des séries temporelles n’est pas encore bien étudiée et demeure controversée : par exemple, il n’est pas clair si l’encodage de position absolu, relatif ou une combinaison des deux est préférable. Afin de clarifier cette question, nous passons d’abord en revue les méthodes existantes d’encodage de position absolu et relatif dans le contexte de la classification des séries temporelles. Ensuite, nous proposons une nouvelle méthode d’encodage de position absolu dédiée aux séries temporelles, nommée Time Absolute Position Encoding (tAPE). Notre méthode intègre à la fois la longueur de la série et la dimension de l’embedding d’entrée dans l’encodage de position absolu. Par ailleurs, nous introduisons une implémentation efficace sur le plan computationnel de l’encodage de position relatif, appelée eRPE, afin d’améliorer la généralisation pour les séries temporelles. Nous proposons ensuite un nouveau modèle de classification des séries temporelles multivariées (MTSC), baptisé ConvTran, qui combine tAPE/eRPE et une encodage d’entrée basée sur des convolutions, afin d’améliorer à la fois l’encodage de position et celui des données temporelles. Les méthodes d’encodage de position absolue et relative proposées sont simples et efficaces. Elles peuvent être facilement intégrées dans des blocs Transformers et utilisées pour des tâches en aval telles que la prévision, la régression extrinsèque ou la détection d’anomalies. Des expérimentations étendues sur 32 jeux de données de séries temporelles multivariées montrent que notre modèle est significativement plus précis que les modèles de pointe basés sur les convolutions ou les Transformers. Le code et les modèles sont disponibles sous licence open source à l’adresse suivante : \url{https://github.com/Navidfoumani/ConvTran}.