Nous introduisons un modèle de réseau de neurones basé sur les transformateurs, nommé UGformer, destiné à l'apprentissage de représentations de graphes. Plus précisément, nous proposons deux variantes de UGformer : la première, publiée en septembre 2019, consiste à appliquer le transformateur à un ensemble de voisins échantillonnés pour chaque nœud d'entrée, tandis que la seconde, publiée en mai 2021, utilise le transformateur sur l'ensemble des nœuds d'entrée. Les résultats expérimentaux montrent que la première variante de UGformer atteint des performances de précision de pointe sur des jeux de données standard pour la classification de graphes, tant dans un cadre inductif que dans un cadre transductif non supervisé ; quant à la seconde variante, elle obtient des performances de pointe pour la classification textuelle inductive. Le code source est disponible à l'adresse suivante : \url{https://github.com/daiquocnguyen/Graph-Transformer}.