2달 전
DropEdge: 노드 분류를 위한 깊은 그래프 컨볼루션 네트워크 연구
Yu Rong; Wenbing Huang; Tingyang Xu; Junzhou Huang

초록
과적합(Over-fitting)과 과평활화(Over-smoothing)는 노드 분류를 위한 깊은 그래프 컨볼루션 네트워크(GCNs) 개발의 두 가지 주요 장애물입니다. 특히, 과적합은 작은 데이터셋에서 일반화 능력을 약화시키며, 과평활화는 네트워크 깊이가 증가함에 따라 입력 특성과 출력 표현을 분리하여 모델 학습을 방해합니다. 본 논문에서는 이러한 문제들을 완화하기 위한 새로운 유연한 기술인 DropEdge를 제안합니다. DropEdge의 핵심은 각 학습 에폭마다 입력 그래프에서 일정 수의 엣지를 무작위로 제거하는 것으로, 이는 데이터 증강기와 메시지 전달 감소기 역할을 합니다. 또한, 이론적으로 DropEdge가 과평활화의 수렴 속도를 줄이거나 그로 인한 정보 손실을 완화한다는 것을 입증하였습니다. 더욱 중요한 점은, 우리의 DropEdge가 GCN, ResGCN, GraphSAGE, JKNet 등 다양한 기본 모델에 적용될 수 있는 일반적인 기술이라는 것입니다. 여러 벤치마크에서 수행된 광범위한 실험들은 DropEdge가 얕고 깊은 GCN 모두에서 성능을 일관되게 향상시킨다는 것을 확인하였습니다. 또한, DropEdge가 과평활화를 방지하는 효과는 경험적으로 시각화되고 검증되었습니다. 코드는~\url{https://github.com/DropEdge/DropEdge}에서 제공됩니다.