15일 전

셰프 신경망과 연결 라플라시안

Federico Barbero, Cristian Bodnar, Haitz Sáez de Ocáriz Borde, Michael Bronstein, Petar Veličković, Pietro Liò
셰프 신경망과 연결 라플라시안
초록

쉐프 신경망(Sheaf Neural Network, SNN)은 그래프 위에서 작동하는 그래프 신경망(Graph Neural Network, GNN)의 일종으로, 그래프의 노드와 엣지 위에 벡터 공간을 부여하고 이러한 공간들 사이의 선형 사상(Linear maps)을 정의하는 ‘쉐프(Sheaf)’라는 수학적 구조를 기반으로 한다. SNN은 이질성(heterophily)과 과도한 평균화(over-smoothing) 문제를 해결하는 데 유용한 이론적 성질을 지녀 주목받아 왔다. 그러나 이러한 모델에 내재된 복잡한 문제 중 하나는 특정 작업에 적합한 쉐프를 찾는 것이다. 기존 연구들은 이 문제에 대해 극단적으로 대비되는 두 가지 접근 방식을 제안해 왔다: 도메인 지식을 바탕으로 수작업으로 쉐프를 구성하는 방법과, 그래디언트 기반 최적화를 통해 쉐프를 엔드투엔드(end-to-end)로 학습하는 방법이다. 그러나 도메인 지식은 종종 부족하며, 쉐프를 학습하는 방식은 과적합(overfitting)과 큰 계산 부담을 초래할 수 있다. 본 연구에서는 리만 기하학(Riemannian geometry)의 아이디어를 차용하여, 새로운 방식의 쉐프 계산을 제안한다. 구체적으로, 다양체 가정(manifold assumption)을 활용하여, 그래프 구조와 다양체 구조를 동시에 고려한 직교적 사상(orthogonal maps)을 계산함으로써, 인접한 데이터 포인트들의 접공간(tangent spaces)을 최적으로 정렬한다. 제안하는 방법은 기존의 SNN 모델들에 비해 계산 부담을 줄이면서도 훌륭한 성능을 달성함을 보여준다. 종합적으로 본 연구는 대수적 위상수학(algebraic topology)과 미분기하학(differential geometry) 사이에 흥미로운 연결 고리를 제시하며, 이 분야에 대한 향후 연구의 촉매가 되기를 기대한다.

셰프 신경망과 연결 라플라시안 | 최신 연구 논문 | HyperAI초신경