本稿では、グラフ表現学習を目的として、TransformerベースのGNNモデルであるUGformerを提案する。特に、2種類のUGformerの変種を提示する。1つ目の変種（2019年9月に発表）は、各入力ノードに対してサンプリングされた近傍ノードの集合に対してTransformerを適用するものであり、2つ目の変種（2021年5月に発表）は、すべての入力ノードに対してTransformerを適用するものである。実験結果により、1つ目のUGformer変種は、誘導的設定（inductive setting）および無教師的転移的設定（unsupervised transductive setting）の両方において、グラフ分類のベンチマークデータセットで最先端の精度を達成することが示された。また、2つ目のUGformer変種は、誘導的テキスト分類においても最先端の性能を達成した。コードは以下のURLから公開されている：\url{https://github.com/daiquocnguyen/Graph-Transformer}。