11일 전

학습 가능한 구조적 및 위치 표현을 갖춘 그래프 신경망

Vijay Prakash Dwivedi, Anh Tuan Luu, Thomas Laurent, Yoshua Bengio, Xavier Bresson
학습 가능한 구조적 및 위치 표현을 갖춘 그래프 신경망
초록

그래프 신경망(GNNs)은 그래프 데이터에 대한 표준 학습 아키텍처로 자리 잡았으며, 양자 화학, 추천 시스템, 지식 그래프, 자연어 처리 등 다양한 분야에 적용되고 있다. 임의의 그래프에서 주요한 문제는 노드의 정규화된 위치 정보(구조적 위치 정보)가 부재하다는 점으로, 이는 GNN의 표현 능력을 저하시켜 동형 노드나 기타 그래프 대칭성을 구분하는 데 어려움을 초래한다. 이 문제를 해결하기 위한 접근법으로 노드의 위치 인코딩(Positional Encoding, PE)을 도입하고, Transformer와 유사하게 입력 레이어에 주입하는 방식이 있다. 가능한 그래프용 PE로는 라플라시안 고유벡터가 있다. 본 연구에서는 구조적 특성과 위치적 특성을 분리하여 네트워크가 이러한 두 가지 핵심 속성을 더 쉽게 학습할 수 있도록 하는 방식을 제안한다. 이를 위해 새로운 유연한 아키텍처인 LSPE(가능한 구조적 및 위치 인코딩, Learnable Structural and Positional Encodings)를 도입한다. 다양한 희소 및 완전 연결(Transformer 유사) GNN 모델을 조사한 결과, 분자 데이터셋에서 학습 가능한 PE를 도입함으로써, 두 클래스의 GNN 모두에서 성능이 1.79%에서 최대 64.14%까지 향상되는 것을 관측하였다.