15일 전

차원 축소가 메시지 전달과 만나는 그래프 노드 임베딩

Krzysztof Sadowski, Michał Szarmach, Eddie Mattia
차원 축소가 메시지 전달과 만나는 그래프 노드 임베딩
초록

그래프 신경망(GNNs)은 사회 네트워크 분석부터 분자의 화학적 성질 모델링에 이르기까지 다양한 응용 분야에서 인기 있는 접근 방식으로 부상하고 있다. GNN은 공개 데이터셋에서 뛰어난 성능을 보이지만, 과도한 스무딩(over-smoothing)과 과도한 압축(over-squashing) 경향으로 인해 데이터 내 장거리 종속성( long-range dependencies)을 학습하는 데 어려움을 겪는 경우가 있다. 이 문제를 완화하기 위해 우리는 주성분 분석(PCA)과 메시지 전달(message passing)을 결합하여 비지도 학습 방식으로 노드 임베딩을 생성하고, 분류 작업에는 그래디언트 부스팅 결정 트리(gradient boosted decision trees)를 활용하는 PCAPass를 제안한다. 실증 결과를 통해, 이 방법은 전형적인 GNN 모델들과 비교해 경쟁력 있는 성능을 보이며, 더 멀리 떨어진 이웃 정보까지 효과적으로 수집할 수 있음을 입증하였다. 본 연구는 메시지 전달과 스킵 연결(skip connections)을 활용한 차원 축소 기법이 그래프 구조 데이터에서 장거리 종속성을 효과적으로 통합하는 데 있어 매우 유망한 메커니즘임을 보여준다.

차원 축소가 메시지 전달과 만나는 그래프 노드 임베딩 | 최신 연구 논문 | HyperAI초신경