SignGT: 그래프 표현 학습을 위한 서명 주의 기반 그래프 트랜스포머

최근 등장한 그래프 트랜스포머는 그래프 신경망(GNN)에 비해 그래프 표현 학습에서 뛰어난 성능을 달성하고 있다. 본 연구에서는 그래프 트랜스포머의 핵심 모듈인 자체 주의(self-attention) 메커니즘을 완전 연결 그래프 위에서의 두 단계 집계 연산으로 간주한다. 자체 주의 메커니즘은 양의 주의값을 생성하는 성질을 가지며, 이는 모든 노드에 대해 부드러운 연산을 수행함으로써 저주파 정보를 유지함을 의미한다. 그러나 다양한 그래프, 특히 고주파 정보가 핵심적인 이질성(heterophily) 그래프에서 노드 간 복잡한 관계를 학습하는 데 있어 저주파 정보만을 포착하는 것은 효율성이 떨어진다. 이를 해결하기 위해 우리는 그래프로부터 다양한 주파수 정보를 적응적으로 포착할 수 있는 서명 주의 기반 그래프 트랜스포머(SignGT)를 제안한다. 구체적으로 SignGT는 노드 쌍 간의 의미적 유사성에 따라 서명된 주의값을 생성하는 새로운 서명 자체 주의 메커니즘(SignSA)을 개발한다. 이를 통해 서로 다른 노드 쌍 간의 다양한 주파수 정보를 정교하게 유지할 수 있다. 또한 SignGT는 이웃 구조 편향(neighborhood bias)을 도입하여 국소적 위상 정보를 유지하는 구조 인지형 피드포워드 네트워크(SFFN)를 제안한다. 이러한 방식으로 SignGT는 장거리 의존성과 국소적 위상 정보 양쪽에서 정보성 있는 노드 표현을 학습할 수 있다. 노드 수준 및 그래프 수준의 다양한 실험 결과는 SignGT가 최첨단 그래프 트랜스포머 및 고도화된 GNN보다 우수한 성능을 보임을 입증한다.