초록
그래프 트랜스포머는 의미 있는 어텐션 점수를 도출하기 위해 강력한 인덕티브 바이어스(유추 편향)가 필요하다. 그러나 기존의 방법들은 분자, 사회 네트워크, 인용 네트워크 등 다양한 그래프에서 흔히 나타나는 장거리 상관관계, 계층 구조, 커뮤니티 구조를 효과적으로 포착하지 못하는 경향이 있다. 본 논문에서는 그래프 내 노드 간 거리 구조를 다층적이고 계층적인 특성을 중심으로 모델링하기 위한 새로운 방법인 계층적 거리 구조 인코딩(Hierarchical Distance Structural Encoding, HDSE)을 제안한다. 기존 그래프 트랜스포머의 어텐션 메커니즘에 HDSE를 원활하게 통합할 수 있는 새로운 프레임워크를 도입함으로써, 다른 위치 인코딩과 동시에 사용이 가능하도록 했다. 대규모 그래프에 HDSE를 갖춘 그래프 트랜스포머를 적용하기 위해, 선형 트랜스포머가 그래프의 계층 구조에 더 잘 편향되도록 하는 고수준의 HDSE를 추가로 제안한다. 이론적으로 HDSE가 최단 경로 거리보다 표현력과 일반화 성능 측면에서 우수함을 입증한다. 실험적으로는, HDSE를 적용한 그래프 트랜스포머가 7개의 그래프 수준 데이터셋에서 그래프 분류 및 회귀 작업, 그리고 최대 10억 개의 노드를 가진 11개의 대규모 그래프에서의 노드 분류 작업에서 뛰어난 성능을 보임을 확인하였다.