Ce document présente une nouvelle architecture de transformer pour l'apprentissage de représentations de graphes. L'insight central de notre méthode est de prendre pleinement en compte la propagation d'information entre les nœuds et les arêtes dans un graphe lors de la construction du module d'attention dans les blocs de transformer. Plus précisément, nous proposons un nouveau mécanisme d'attention appelé Graph Propagation Attention (GPA). Il transmet explicitement l'information entre les nœuds et les arêtes de trois manières, à savoir nœud-à-nœud, nœud-à-arête et arête-à-nœud, ce qui est essentiel pour l'apprentissage des données structurées en graphe. Sur cette base, nous concevons une architecture efficace de transformer nommée Graph Propagation Transformer (GPTrans) pour aider davantage à l'apprentissage des données de graphe. Nous vérifions les performances de GPTrans dans une large gamme d'expériences d'apprentissage sur plusieurs jeux de données de référence. Ces résultats montrent que notre méthode surpasse de nombreux modèles graphiques basés sur des transformers d'avant-garde avec des performances supérieures. Le code sera mis à disposition sur https://github.com/czczup/GPTrans.