GraphNorm: 그래프 신경망 학습을 가속화하는 체계적인 접근법

정규화는 깊은 신경망의 최적화를 돕는 것으로 잘 알려져 있다. 흥미롭게도, 다양한 아키텍처는 각각 전용 정규화 방법을 필요로 한다. 본 논문에서는 그래프 신경망(GNN)에 효과적인 정규화 방식이 무엇인지 탐구한다. 먼저, 다른 분야에서 기존에 개발된 정규화 방법들을 GNN에 적응시키고 평가한다. 그 결과, 배치 정규화(BatchNorm)와 레이어 정규화(LayerNorm)에 비해 인스턴스 정규화(InstanceNorm)를 사용할 경우 더 빠른 수렴이 가능함을 확인하였다. 이를 설명하기 위해, 인스턴스 정규화가 GNN에 대한 전처리 조건(preconditioner) 역할을 한다는 점을 제시한다. 그러나 그래프 데이터셋에서 발생하는 강한 배치 노이즈로 인해 배치 정규화는 이러한 전처리 효과가 약해진다는 점을 밝혔다. 두 번째로, 인스턴스 정규화의 시프트(shift) 연산이 매우 규칙적인 그래프에서 GNN의 표현 능력을 저하시킨다는 점을 보여준다. 이 문제를 해결하기 위해, 학습 가능한 시프트를 갖는 GraphNorm을 제안한다. 실험적으로, 다른 정규화 방법을 사용하는 GNN에 비해 GraphNorm을 적용한 GNN이 더 빠르게 수렴함을 확인하였다. 또한 GraphNorm은 GNN의 일반화 성능을 향상시켜 그래프 분류 벤치마크에서 더 우수한 성능을 달성한다.