트랜스포머는 그래프 표현에서 정말로 성능이 나쁜가?

트랜스포머 아키텍처는 자연어 처리와 컴퓨터 비전 등 많은 분야에서 주요 선택이 되었지만, 그래프 레벨 예측의 인기 있는 리더보드에서 주류 GNN 변형들과 비교하여 경쟁력 있는 성능을 달성하지 못하였습니다. 따라서 트랜스포머가 그래프 표현 학습에서 우수한 성과를 거두는 방법은 여전히 미스터리로 남아 있습니다. 본 논문에서는 표준 트랜스포머 아키텍처를 기반으로 하여 광범위한 그래프 표현 학습 과제, 특히 최근 OGB 대규모 도전 과제에서 우수한 결과를 얻을 수 있는 Graphormer를 제시함으로써 이 미스터리를 해결합니다. 트랜스포머를 그래프에 활용하는 우리의 핵심 통찰력은 그래프의 구조적 정보를 모델에 효과적으로 인코딩하는 필요성입니다. 이를 위해 우리는 Graphormer가 그래프 구조 데이터를 더 잘 모델링할 수 있도록 몇 가지 간단하면서도 효과적인 구조 인코딩 방법을 제안합니다. 또한, 우리는 Graphormer의 표현력을 수학적으로 특징화하고, 우리가 제안한 그래프의 구조적 정보 인코딩 방식을 통해 많은 인기 있는 GNN 변형들이 Graphormer의 특수 사례로 포함될 수 있음을 보여줍니다.