2달 전

반복적 거리 필터링을 이용한 그래프 표현 학습

Yuhui Ding; Antonio Orvieto; Bobby He; Thomas Hofmann
반복적 거리 필터링을 이용한 그래프 표현 학습
초록

반복적인 일회성 메시지 전달을 기반으로 하는 그래프 신경망은 원격 노드의 정보를 효과적으로 활용하는 데 어려움을 겪는 것으로 알려져 있습니다. 반면에, 그래프 트랜스포머는 각 노드가 모든 다른 노드에 직접 주의를 기울일 수 있지만, 그래프 귀납 편향(graph inductive bias)이 부족하고 임의적 위치 인코딩(ad-hoc positional encoding)에 의존해야 합니다. 본 논문에서는 이러한 문제들을 해결하기 위한 새로운 아키텍처를 제안합니다. 우리의 접근 방식은 최근 깊은 상태 공간 모델(deep state-space models)에서 제공된 장거리 모델링의 혁신적인 성과에서 유래되었습니다: 주어진 대상 노드에 대해, 우리의 모델은 대상 노드까지의 최단 거리로 다른 노드들을 집계하고, 이 홉 표현(hop representations) 시퀀스를 인코딩하기 위해 선형 RNN(재귀 신경망)을 사용합니다. 선형 RNN은 안정적인 장거리 신호 전달을 위해 특정 대각선 형태로 매개변수화되며, 이론적으로 이웃 계층 구조(neighborhood hierarchy)를 인코딩할 만큼 충분히 표현력이 뛰어납니다. 위치 인코딩이 필요하지 않은 상태에서, 우리는 다양한 벤치마크에서 우리 모델의 성능이 최신 그래프 트랜스포머와 비교해 비슷하거나 더 우수하다는 것을 경험적으로 입증하였습니다. 또한, 우리 모델은 상당히 낮은 계산 비용으로 동작합니다. 우리의 코드는 오픈 소스로 https://github.com/skeletondyh/GRED 에서 확인할 수 있습니다.

반복적 거리 필터링을 이용한 그래프 표현 학습 | 최신 연구 논문 | HyperAI초신경