일반화된 딥 GNNs: 과도한 평활화를 방지하기 위해 경로 분해 관점에서 GNNs의 잔차 연결 재고찰

GNN의 깊이가 증가함에 따라 과도한 평활화(over-smoothing)로 인해 성능이 저하된다. 과도한 평활화를 방지하기 위한 다양한 시도 중에서, 단순함으로 인해 잔차 연결(residual connection)이 유망한 방법 중 하나로 평가되고 있다. 그러나 최근 연구들은 잔차 연결을 적용한 GNN이 성능 저하를 다소 늦출 뿐, 근본적인 해결책이 되지 못함을 밝혀냈다. 잔차 연결이 GNN에서 실패하는 이유는 여전히 명확하지 않다. 본 논문에서는 잔차 연결 경로의 이항 분포(binomial distribution)로부터 유도되는 중앙값 경로의 반복적 집계가 출력 표현을 지배함으로써 GNN이 깊어질수록 과도한 평활화가 발생함을, 새로운 경로 분해(path decomposition) 관점에서 분석한다. 또한, 얽힌 전파(entangled propagation)와 가중치 행렬이 기울기 평활화를 초래하며, 잔차 연결을 갖춘 GNN이 항등 맵핑(identity mapping)으로 최적화되는 것을 방해함을 밝혀냈다. 이러한 발견을 바탕으로, 콜드스타트 적응형 잔차 연결(DRIVE)과 전방향 전달(feedforward) 모듈을 갖춘 유니버설 딥 GNN(UDGNN) 프레임워크를 제안한다. 광범위한 실험을 통해 제안한 방법의 효과성을 입증하였으며, 단순히 표준 GNN을 반복적으로 스택하는 방식으로도 비평활화 이질성(heterophily) 데이터셋에서 최신 기술 수준의 성능을 달성함을 확인하였다.