초록
그래프 기반 머신러닝의 주류 패러다임은 메시지 전달 그래프 신경망(MP-GNNs)을 사용하며, 이는 노드 표현을 근처 이웃의 정보를 집계함으로써 업데이트하는 방식이다. 최근 MP-GNN의 알려진 한계를 해결하기 위해 트랜스포머 아키텍처를 그래프에 적응시키려는 시도가 점점 늘어나고 있다. 그래프 트랜스포머를 설계하는 데 있어 가장 도전적인 과제는 임의의 그래프 구조를 아키텍처에 통합하는 것이다. 본 연구에서는 이러한 과제를 해결하기 위해 그래프 디퓨저(Graph Diffuser, GD)를 제안한다. GD는 그래프 내 멀리 떨어진 노드들 사이의 구조적 및 위치적 관계를 학습하여, 이를 바탕으로 트랜스포머의 주의 메커니즘과 노드 표현을 지시한다. 기존의 GNN 및 그래프 트랜스포머가 장거리 상호작용을 포착하는 데 어려움을 겪는다는 점을 실험적으로 입증하고, 그래프 디퓨저가 이를 어떻게 효과적으로 수행하는지 직관적인 시각화를 통해 보여준다. 여덟 가지 벤치마크에서의 실험 결과, 그래프 디퓨저는 다양한 도메인에서 최첨단 기술을 능가하는 뛰어난 성능을 보이며, 매우 경쟁력 있는 모델임을 입증하였다.