Ces dernières années, les mécanismes d'auto-attention basés sur les Transformers ont été appliqués avec succès à l'analyse de divers types de données dépendants du contexte, allant des textes aux images et au-delà, y compris les données provenant de géométries non euclidiennes. Dans cet article, nous présentons un tel mécanisme, conçu pour classifier des séquences de matrices Symétriques Définies Positives tout en préservant leur géométrie riemannienne tout au long de l'analyse. Nous appliquons notre méthode au stade automatique du sommeil sur des séries temporelles de matrices de covariance issues d'EEG à partir d'un jeu de données standard, obtenant des niveaux élevés de performance par stade.