15일 전

연속적인 그래프 확산 함수에 대한 공간에서 그래프 신경망의 재고찰 및 재설계

Tingting Dan, Jiaqi Ding, Ziquan Wei, Shahar Z Kovalsky, Minjeong Kim, Won Hwa Kim, Guorong Wu
연속적인 그래프 확산 함수에 대한 공간에서 그래프 신경망의 재고찰 및 재설계
초록

그래프 신경망(GNN)은 소셜 네트워크 및 생물학적 시스템과 같은 다양한 분야에서 널리 사용되고 있다. 그러나 GNN의 국소성 가정(locality assumption)은 정보 교환을 이웃 노드에 한정함으로써 그래프 내 장거리 의존성과 전반적인 패턴을 포착하는 데 한계를 가진다. 이를 해결하기 위해, 브라키스토크로네 문제(Brachistochrone problem)에서 영감을 얻어 변분 분석(variational analysis)을 기반으로 한 새로운 인덕티브 바이어스(inductive bias)를 제안한다. 본 연구 프레임워크는 이산적 GNN 모델과 연속적 확산 함수형 사이의 사상(mapping)을 수립함으로써, 연속 영역에서 응용 분야에 특화된 목적 함수를 설계하고, 수학적 보장을 갖춘 이산적 딥 모델을 구축할 수 있도록 한다. GNN의 과도한 평활화(over-smoothing) 문제를 해결하기 위해 기존의 레이어별 그래프 임베딩 모델을 분석한 결과, 이러한 모델들이 그래프 기울기의 l2-노름 적분 함수형(integral functional)과 동등함을 밝혀냈다. 이는 과도한 평활화를 초래한다. 이미지 노이즈 제거에서 엣지 보존 필터(edge-preserving filters)와 유사하게, 그래프 확산 패턴이 전반적인 커뮤니티 구조와 일치하도록 총변동(Total Variation, TV)을 도입한다. 또한 모델의 깊이와 과도한 평활화 사이의 트레이드오프를 해결하기 위한 선택적 메커니즘(selective mechanism)을 설계하였으며, 기존 GNN에 쉽게 통합할 수 있다. 더불어, 신경 운송 방정식(neural transport equation)을 통해 그래프 내 확산 흐름을 예측하는 새로운 생성적 적대 신경망(GAN)을 제안한다. 소멸하는 흐름(vanishing flows)을 완화하기 위해, 각 커뮤니티 내부의 운송을 최소화하면서 커뮤니티 간 흐름을 최대화하도록 목적 함수를 특화하였다. 제안된 GNN 모델은 Cora, Citeseer, Pubmed와 같은 대표적인 그래프 학습 벤치마크에서 최첨단(SOTA) 성능을 달성하였다.

연속적인 그래프 확산 함수에 대한 공간에서 그래프 신경망의 재고찰 및 재설계 | 최신 연구 논문 | HyperAI초신경