VQ-GNN: 벡터 양자화를 사용하여 그래프 신경망을 확장하는 보편적 프레임워크

최신 그래프 뉴럴 네트워크(GNN)의 대부분은 직접적인 이웃 또는 그 이상 사이에서 메시지 전달을 통해 구현될 수 있는 그래프 합성곱의 형태로 정의할 수 있습니다. 이러한 GNN을 대규모 그래프에 확장하기 위해, "이웃 폭발" 문제를 완화하기 위해 미니 배치에 전달되는 노드 메시지의 작은 부분 집합만 고려하는 다양한 이웃 샘플링, 층 샘플링, 또는 서브그래프 샘플링 기술이 제안되었습니다. 그러나 샘플링 기반 방법은 각 층에서 멀리 떨어진 이웃이나 전역 컨텍스트를 활용하는 GNN에 적용하기 어려우며, 다양한 작업과 데이터셋에 대해 성능이 불안정하며, 모델 추론 속도를 향상시키지 못합니다.우리는 성능을 저하시키지 않는 방식으로 벡터 양자화(VQ)를 사용하여 어떤 합성곱 기반 GNN도 확장할 수 있는 보편적인 프레임워크인 VQ-GNN을 제안합니다. 샘플링 기반 기법과 달리, 우리의 접근 방식은 각 GNN 층에서 VQ를 사용하여 전역 노드 표현의 양자화된 참조 벡터의 작은 수를 학습하고 업데이트함으로써 미니 배치 노드에 전달되는 모든 메시지를 효과적으로 보존할 수 있습니다. 우리의 프레임워크는 양자화된 표현과 그래프 합성곱 행렬의 저순위 버전을 결합하여 GNN의 "이웃 폭발" 문제를 피합니다. 우리는 이 거대한 합성곱 행렬의 컴팩트한 저순위 버전이 이론적으로와 실험적으로 충분하다는 것을 보여줍니다.VQ와 함께, 우리는 새로운 근사 메시지 전달 알고리즘과 복잡하지 않은 역전파 규칙을 설계하였습니다. 다양한 유형의 GNN 백본에서 수행된 실험들은 우리의 프레임워크가 대규모 그래프 노드 분류 및 링크 예측 벤치마크에서 확장 가능성을 입증하고 경쟁력 있는 성능을 보여주었습니다.