GRPE: 그래프 트랜스포머를 위한 상대적 위치 인코딩

우리는 Transformer 아키텍처에서 그래프를 학습하기 위한 새로운 위치 인코딩 기법을 제안한다. 기존의 방법들은 그래프를 선형화하여 노드 시퀀스 내의 절대 위치를 인코딩하거나, 편향 항을 사용하여 다른 노드를 기준으로 상대 위치를 인코딩한다. 그러나 첫 번째 접근법은 선형화 과정에서 상대 위치의 정밀도를 상실하는 반면, 두 번째 접근법은 노드-엣지 및 노드-토폴로지 간의 밀접한 상호작용을 놓치게 된다. 이러한 기존 방법의 한계를 극복하기 위해, 본 연구에서는 그래프를 선형화하지 않고, 노드-토폴로지 및 노드-엣지 상호작용을 모두 고려하는 방법을 제안한다. 이 방법을 그래프 표현 학습에 특화된 ‘그래프 상대 위치 인코딩(Graph Relative Positional Encoding, GRPE)’이라 명명한다. 다양한 그래프 데이터셋에서 수행한 실험 결과, 제안하는 방법이 기존 방법보다 유의미하게 우수한 성능을 보였다. 코드는 공개되어 있으며, https://github.com/lenscloth/GRPE 에서 확인할 수 있다.