Nous considérons l'apprentissage de représentations sur les graphes périodiques décrivant des matériaux cristallins. Contrairement aux graphes réguliers, les graphes périodiques sont constitués d'une cellule unité minimale qui se répète de manière régulière sur un réseau tridimensionnel. Comment encoder efficacement ces structures périodiques soulève des défis spécifiques, absents de l'apprentissage de représentations sur les graphes réguliers. En plus d’être invariants par rapport à E(3) (le groupe des isométries euclidiennes en trois dimensions), les représentations des graphes périodiques doivent également être invariants par rapport à la périodicité. Autrement dit, les représentations apprises doivent rester inchangées face aux décalages des frontières de cellule, qui sont arbitrairement définies. En outre, les motifs de répétition périodique doivent être capturés explicitement, car des réseaux de tailles ou d’orientations différentes peuvent correspondre à des matériaux distincts. Dans ce travail, nous proposons une architecture de transformer, appelée Matformer, dédiée à l’apprentissage de représentations sur les graphes périodiques. Notre Matformer est conçue pour être invariante par rapport à la périodicité et capable de capturer explicitement les motifs répétitifs. En particulier, Matformer encode les motifs périodiques en exploitant efficacement les distances géométriques entre les mêmes atomes situés dans des cellules voisines. Les résultats expérimentaux sur plusieurs jeux de données standards montrent que notre Matformer surpasse de manière cohérente les méthodes de référence. En outre, nos résultats mettent en évidence l'importance de l'invariance périodique et de l'encodage explicite des motifs répétitifs pour l'apprentissage de représentations des cristaux.