Dans ce travail, nous proposons pour la première fois un cadre basé sur les transformateurs pour l’apprentissage non supervisé de représentations de séries temporelles multivariées. Des modèles pré-entraînés peuvent potentiellement être utilisés pour des tâches ultérieures telles que la régression, la classification, la prévision et l’imputation de valeurs manquantes. En évaluant nos modèles sur plusieurs jeux de données standardisés pour la régression et la classification de séries temporelles multivariées, nous montrons que notre approche de modélisation représente non seulement la méthode la plus performante à ce jour utilisant l’apprentissage non supervisé de séries temporelles multivariées, mais dépasse également les performances actuelles des méthodes supervisées, même lorsque le nombre d’échantillons d’entraînement est très limité, tout en offrant une efficacité computationnelle remarquable. Enfin, nous démontrons qu’un pré-entraînement non supervisé de nos modèles transformateurs procure un avantage significatif en termes de performance par rapport à l’apprentissage entièrement supervisé, même sans exploiter de données non étiquetées supplémentaires, c’est-à-dire en réutilisant les mêmes échantillons de données via une objectif non supervisé.