15일 전

더 깊은 그래프 신경망을 향해

Meng Liu, Hongyang Gao, Shuiwang Ji
더 깊은 그래프 신경망을 향해
초록

그래프 신경망은 그래프 표현 학습 분야에서 큰 성공을 거두었다. 그래프 합성곱은 이웃 노드의 정보를 집계하는 연산으로, 그래프 처리에서 가장 중요한 연산 중 하나이다. 그러나 이러한 이웃 집계 방식은 한 계층당 직접 이웃만을 고려하기 때문에, 더 깊은 구조로 확장할 경우 수용 영역(Receptive Field)을 넓히기 어려우며, 이로 인해 성능이 저하된다. 최근 몇몇 연구들은 이러한 성능 저하 현상을 과도한 평활화(Over-smoothing) 문제로 설명하고 있다. 이 문제는 반복적인 전파 과정을 통해 서로 다른 클래스에 속한 노드 표현이 구별되지 않게 된다는 것이다. 본 연구에서는 이 현상을 체계적으로 분석하고, 더 깊은 그래프 신경망 설계를 위한 새로운 통찰을 제시한다. 먼저, 기존 그래프 합성곱 연산에서 표현 변환(Representation Transformation)과 전파(Propagation)가 서로 얽혀 있다는 점이 성능 저하의 주요 원인임을 지적하고, 이 두 연산을 분리함으로써 더 깊은 그래프 신경망을 활용하여 더 넓은 수용 영역에서 노드 표현을 학습할 수 있음을 보여준다. 또한, 매우 깊은 모델을 구축할 경우 위 현상에 대한 이론적 분석을 제시하며, 과도한 평활화 문제를 엄밀하면서도 부드럽게 설명할 수 있는 기반을 마련한다. 본 연구의 이론적·실증적 분석을 바탕으로, 넓은 수용 영역에서 정보를 적응적으로 통합할 수 있는 ‘깊은 적응형 그래프 신경망(Deep Adaptive Graph Neural Network, DAGNN)’을 제안한다. 인용, 공동 저자, 공동 구매 데이터셋을 대상으로 수행한 일련의 실험을 통해 제안된 분석과 통찰의 타당성을 입증하였으며, 제안한 방법의 우수성을 확인하였다.

더 깊은 그래프 신경망을 향해 | 최신 연구 논문 | HyperAI초신경