15일 전

그래디언트 게이팅을 통한 그래프 기반 깊이 있는 다중 속도 학습

T. Konstantin Rusch, Benjamin P. Chamberlain, Michael W. Mahoney, Michael M. Bronstein, Siddhartha Mishra
그래디언트 게이팅을 통한 그래프 기반 깊이 있는 다중 속도 학습
초록

우리는 그래프 신경망(GNN)의 성능을 향상시키기 위한 새로운 프레임워크인 Gradient Gating (G$^2$)을 제안한다. 본 프레임워크는 기반 그래프의 노드들 간 메시지 전달 정보의 다중 속도 흐름을 제어하는 게이팅 메커니즘을 활용하여 GNN 레이어의 출력을 제어한다. 또한 국소적 기울기(local gradients)를 활용하여 메시지 전달 업데이트를 추가로 조절한다. 본 프레임워크는 기본적인 GNN 레이어를 어떤 것이라도 사용할 수 있도록 유연하게 설계되어, 다중 속도 기울기 게이팅 메커니즘을 둘러싸는 래퍼(wrapper)로 활용할 수 있다. 우리는 G$^2$가 과도한 평활화(oversmoothing) 문제를 완화하며 깊은 구조의 GNN 설계를 가능하게 함을 엄밀히 증명하였다. 실증 결과를 통해 제안된 프레임워크가 다양한 그래프 학습 작업, 특히 대규모 이질성 그래프(heterophilic graphs)에서도 최신 기술 수준의 성능을 달성함을 보여주었다.

그래디언트 게이팅을 통한 그래프 기반 깊이 있는 다중 속도 학습 | 최신 연구 논문 | HyperAI초신경