순수한 Transformer는 강력한 그래프 학습자이다.

그래프 특화된 수정 없이도 기존의 Transformer가 이론적으로도 실질적으로도 그래프 학습에서 유망한 성과를 낼 수 있음을 보여줍니다. 주어진 그래프에 대해 우리는 모든 노드와 간선을 독립적인 토큰으로 간주하고, 이를 토큰 임베딩으로 확장한 후 Transformer에 입력합니다. 적절한 토큰 임베딩을 선택할 경우, 본 방법이 동치성 선형층으로 구성된 불변 그래프 네트워크(2-IGN)만큼 최소한의 표현력을 지닌다는 것을 이론적으로 입증할 수 있습니다. 이는 이미 모든 메시지 전달 기반 그래프 신경망(GNN)보다 더 높은 표현력을 갖는 것으로 알려져 있습니다. 대규모 그래프 데이터셋(PCQM4Mv2)에서 학습시킨 결과, 우리는 이 방법을 '토큰화된 그래프 트랜스포머(Tokenized Graph Transformer, TokenGT)'라 명명하였으며, 전통적인 GNN 기반 베이스라인보다 뚜렷이 우수한 성능을 기록했고, 그래프 특화된 유도 편향(inductive bias)을 갖춘 트랜스포머 변형 모델들과도 경쟁 가능한 성능을 보였습니다. 본 연구의 구현 코드는 https://github.com/jw9730/tokengt 에서 공개되어 있습니다.