2달 전

그래프에서 랜덤 워크를 통한 장거리 의존성 학습

Dexiong Chen; Till Hendrik Schulz; Karsten Borgwardt
그래프에서 랜덤 워크를 통한 장거리 의존성 학습
초록

메시지 패싱 그래프 신경망(GNNs)은 로컬 관계를 포착하는 데 우수하지만 그래프에서의 장거리 종속성을 처리하는 데 어려움을 겪습니다. 반면에 그래프 트랜스포머(GTs)는 전역 정보 교환을 가능하게 하지만, 그래프를 고정된 길이 벡터들의 집합으로 표현함으로써 그래프 구조를 과도하게 단순화하는 경향이 있습니다. 본 연구에서는 이러한 두 접근 방식의 단점을 극복하기 위해 랜덤 워크의 장거리 정보와 로컬 메시지 패싱을 결합한 새로운 아키텍처를 소개합니다. 랜덤 워크를 시퀀스로 취급함으로써, 본 아키텍처는 최근 시퀀스 모델의 발전을 활용하여 이러한 워크 내에서의 장거리 종속성을 효과적으로 포착할 수 있습니다. 이 개념을 기반으로, 우리는 (1) 랜덤 워크 시퀀스를 통해 더 표현력 있는 그래프 표현, (2) 장거리 종속성 포착을 위한 임의의 시퀀스 모델 사용 능력, (3) 다양한 GNN 및 GT 아키텍처를 통합하는 유연성 등을 제공하는 프레임워크를 제안합니다. 실험 평가 결과, 우리의 접근 방식은 19개의 그래프 및 노드 벤치마크 데이터셋에서 현저한 성능 향상을 달성하며, 특히 PascalVoc-SP 및 COCO-SP 데이터셋에서는 기존 방법보다 최대 13% 개선되는 것으로 나타났습니다. 코드는 https://github.com/BorgwardtLab/NeuralWalker에서 확인할 수 있습니다.