초록
미분방정식 기반의 연속적 그래프 신경망 모델은 그래프 신경망(GNN)의 아키텍처를 확장해왔다. 그래프 확산과 메시지 전파 간의 연관성으로 인해 확산 기반 모델은 널리 연구되어 왔다. 그러나 확산은 자연적으로 시스템을 평형 상태로 유도하기 때문에 과도한 평균화(over-smoothing)와 같은 문제를 야기한다. 이를 해결하기 위해 우리는 그래프 집합-확산 방정식(aggregate-diffusion equations)에 영감을 받아 GRADE(Graph Aggregation-Diffusion Equations)를 제안한다. 이 모델은 상호작용 포텐셜에 의해 유도되는 비선형 확산과 집합 간의 정교한 균형을 포함한다. 집합-확산 방정식을 통해 얻어진 노드 표현은 준안정성(metastability)을 보이며, 이는 특징들이 여러 클러스터로 집합될 수 있음을 시사한다. 또한 이러한 클러스터 내부의 동역학은 오랜 시간 동안 지속될 수 있어 과도한 평균화 문제를 완화할 잠재력을 제공한다. 본 모델에서 제안하는 비선형 확산은 기존의 확산 기반 모델을 일반화하며, 전통적인 GNN과의 연결을 구축한다. 우리는 GRADE가 다양한 벤치마크에서 경쟁적인 성능을 달성하고, 디리클레 에너지(Dirichlet energy)의 향상으로부터 GNN의 과도한 평균화 문제를 완화함을 증명한다.