그래프 전파 트랜스포머를 이용한 그래프 표현 학습

본 논문은 그래프 표현 학습을 위한 새로운 트랜스포머 아키텍처를 제시합니다. 본 방법의 핵심은 트랜스포머 블록에서 어텐션 모듈을 구축할 때 그래프 내 노드와 엣지 간의 정보 전파를 완전히 고려하는 것입니다. 구체적으로, 우리는 노드-노드, 노드-엣지, 그리고 엣지-노드 간에 정보를 명시적으로 전달하는 세 가지 방식으로 그래프 구조화 데이터 학습에 필수적인 새로운 어텐션 메커니즘인 그래프 전파 어텐션(Graph Propagation Attention, GPA)을 제안합니다. 이 기반 위에서, 우리는 그래프 데이터 학습을 더욱 돕기 위해 효과적인 트랜스포머 아키텍처인 그래프 전파 트랜스포머(Graph Propagation Transformer, GPTrans)를 설계하였습니다. 우리는 여러 벤치마크 데이터셋에서 다양한 그래프 학습 실험을 통해 GPTrans의 성능을 검증하였습니다. 이러한 결과들은 우리의 방법이 많은 최신 트랜스포머 기반 그래프 모델보다 우수한 성능을 보임을 입증합니다. 코드는 https://github.com/czczup/GPTrans 에 공개될 예정입니다.