2달 전

증명 가능한 강력한 그래프 네트워크

Haggai Maron; Heli Ben-Hamu; Hadar Serviansky; Yaron Lipman
증명 가능한 강력한 그래프 네트워크
초록

최근, Weisfeiler-Lehman (WL) 그래프 동형 테스트가 그래프 신경망 (GNN)의 표현력을 측정하는 데 사용되었습니다. 연구 결과, 인기 있는 메시지 패싱 GNN은 1-WL 테스트로 구분할 수 없는 그래프를 구분할 수 없다는 것이 밝혀졌습니다 (Morris et al. 2018; Xu et al. 2019). 불행히도, 많은 단순한 그래프 인스턴스들이 1-WL 테스트로 구분할 수 없습니다.더 강력한 그래프 학습 모델을 찾기 위해, 우리는 최근 제안된 k차 불변성 및 등변성 그래프 신경망 (Maron et al. 2019a,b)을 기반으로 두 가지 결과를 제시합니다:첫째, 이러한 k차 네트워크는 k-WL 테스트만큼 비동형 그래프를 구분할 수 있으며, 이는 k>2일 때 1-WL 테스트보다 강력하다는 것이 증명되었습니다. 이로 인해 이러한 모델은 메시지 패싱 모델보다 엄격하게 더 강력합니다. 그러나 이러한 모델의 더 높은 표현력은 고차 텐서 처리에 따른 계산 비용이 따르는 단점이 있습니다.둘째, 우리가 목표로 하는 것은 증명 가능한 강력함, 단순성 및 확장성을 갖춘 모델을 만드는 것입니다. 이를 위해 스케일링된 항등 연산자만 포함하고 단일 이차 연산 (행렬 곱셈)이 추가된 축소된 2차 네트워크가 증명 가능한 3-WL 표현력을 가짐을 보여줍니다. 다르게 말하면, 특징 차원에 표준 다층 퍼셉트론 (MLP)을 적용하고 행렬 곱셈을 결합하여 간단한 모델을 제안합니다. 우리는 이 모델이 인기 있는 그래프 분류 및 회귀 작업에서 최신 성능 결과를 보임으로써 이를 검증하였습니다. 우리 지식의 범위 내에서는, 이 모델이 처음으로 실용적이고 3-WL 표현력을 보장하며 메시지 패싱 모델보다 엄격하게 더 강력한 불변성/등변성 모델임을 확인하였습니다.

증명 가능한 강력한 그래프 네트워크 | 최신 연구 논문 | HyperAI초신경