11일 전
최적 운반 그래프 신경망
Benson Chen, Gary Bécigneul, Octavian-Eugen Ganea, Regina Barzilay, Tommi Jaakkola

초록
현재 그래프 신경망(GNN) 아키텍처는 노드 임베딩을 단순히 평균하거나 합산하여 그래프 표현을 집계하는 방식을 채택하고 있는데, 이는 구조적 또는 의미적 정보를 손실할 수 있다. 본 연구에서는 그래프의 다양한 측면을 강조하는 파라미터화된 프로토타입을 활용하여 그래프 임베딩을 계산하는 OT-GNN 모델을 제안한다. 이를 위해 최적 운반(optimal transport, OT)을 파라미터화된 그래프 모델과 성공적으로 결합하였다. 그래프 표현은 GNN의 노드 임베딩 집합과 자유 매개변수로 취급되는 ‘프로토타입’ 점군 사이의 와서슈타인(Wasserstein) 거리로부터 도출된다. 이론적으로, 기존의 합계 집계 방식과 달리, 본 연구에서 제안하는 점군에 대한 함수 클래스가 기본적인 보편 근사 정리(universal approximation theorem)를 만족함을 입증하였다. 실증적으로는, 모델이 OT 기하학을 진정으로 활용하도록 유도하기 위해 노이즈 대조 정규화 기법(noise contrastive regularizer)을 제안함으로써 내재된 수렴 붕괴 최적화 문제를 해결하였다. 최종적으로, 여러 분자 성질 예측 과제에서 기존의 주요 방법들을 상회하면서도 보다 부드러운 그래프 표현을 나타내었다.