초록
우리는 그래프 표현 학습을 위한 트랜스포머 기반 GNN 모델인 UGformer을 제안한다. 특히 두 가지 UGformer 변형을 제시하며, 첫 번째 변형(2019년 9월 공개)은 입력 노드의 샘플링된 이웃 집합에 트랜스포머를 적용하는 방식이며, 두 번째 변형(2021년 5월 공개)은 모든 입력 노드에 트랜스포머를 적용하는 방식이다. 실험 결과, 첫 번째 UGformer 변형은 유도적 설정(inductive setting)과 비지도 전도적 설정(unsupervised transductive setting)에서 그래프 분류 벤치마크 데이터셋에서 최신 기준(SOTA) 정확도를 달성하였으며, 두 번째 UGformer 변형은 유도적 텍스트 분류에서 최신 기준 정확도를 확보하였다. 코드는 다음 주소에서 확인할 수 있다: \url{https://github.com/daiquocnguyen/Graph-Transformer}.