11일 전

클래식 GNN은 그래프 수준 작업에 강력한 베이스라인으로서 적합할 수 있는가? 간단한 아키텍처가 우수성을 달성하다

Luo, Yuankai, Shi, Lei, Wu, Xiao-Ming
클래식 GNN은 그래프 수준 작업에 강력한 베이스라인으로서 적합할 수 있는가? 간단한 아키텍처가 우수성을 달성하다
초록

메시지 전달 기반 그래프 신경망(GNNs)은 표현력의 한계, 과도한 평활화(over-smoothing) 및 과도한 압축(over-squashing) 등의 문제, 장거리 의존성 표현의 어려움으로 인해 종종 비판받아왔다. 반면 그래프 트랜스포머(GTs)는 전역 주의 메커니즘(global attention mechanism)을 도입함으로써 이러한 문제들을 완화할 가능성이 있어, 성능이 우수하다고 평가된다. 기존 문헌은 특히 소규모 분자 그래프에서 그래프 분류 및 회귀와 같은 그래프 수준의 작업에서 GT가 GNN보다 우수하다고 자주 언급하고 있다. 본 연구에서는 여전히 미개척된 GNN의 잠재력을 탐색하기 위해, 엣지 특징 통합, 정규화, 드롭아웃, 잔차 연결, 피드포워드 네트워크, 위치 인코딩 등 6가지 널리 사용되는 기법을 통합한 개선된 프레임워크인 GNN+를 제안한다. 이를 통해 그래프 수준의 작업을 효과적으로 수행할 수 있도록 하였다. 우리는 GNN+ 프레임워크를 활용하여 GCN, GIN, GatedGCN 등 세 가지 전형적인 GNN 모델을 14개의 대표적인 그래프 수준 데이터셋에서 체계적으로 재평가하였다. 그 결과, 기존의 일반적인 인식과는 달리, 이러한 전통적인 GNN 모델들이 GT를 일관되게 견인하거나 초월함을 확인하였다. 모든 데이터셋에서 상위 3위 이내의 성능을 기록하였으며, 8개 데이터셋에서는 1위를 차지하였다. 더불어, GT에 비해 여러 데이터셋에서 수 배에 달하는 빠른 속도를 보이며 더 높은 효율성을 입증하였다. 이는 단순한 GNN 아키텍처가 복잡한 GT의 메커니즘 없이도 우수한 그래프 수준 성능을 달성할 수 있음을 시사하며, GT의 복잡성은 그래프 수준 성능 향상에 필수적이라는 기존의 인식에 도전한다. 본 연구의 소스 코드는 https://github.com/LUOyk1999/GNNPlus 에서 공개되어 있다.

클래식 GNN은 그래프 수준 작업에 강력한 베이스라인으로서 적합할 수 있는가? 간단한 아키텍처가 우수성을 달성하다 | 최신 연구 논문 | HyperAI초신경