15일 전

그래프 신경망의 지식을 추출하고 그 이상으로 나아가기: 효과적인 지식 증류 프레임워크

Cheng Yang, Jiawei Liu, Chuan Shi
그래프 신경망의 지식을 추출하고 그 이상으로 나아가기: 효과적인 지식 증류 프레임워크
초록

그래프 기반의 반감독 학습은 머신러닝 분야에서 중요한 문제이다. 최근 몇 년간 그래프 신경망(GNN) 기반의 최신 분류 기법들은 레이블 전파(Label Propagation)와 같은 전통적인 방법들에 비해 우수한 성능을 보여왔다. 그러나 이러한 신경망 모델의 복잡한 아키텍처는 예측 메커니즘을 복잡하게 만들며, 데이터 내에 존재하는 유용한 사전 지식(예: 구조적으로 관련된 노드들은 동일한 클래스를 가질 가능성이 높다)을 충분히 활용하지 못할 수 있다. 본 논문에서는 이러한 문제를 해결하기 위해 지식 증류(Knowledge Distillation) 기반의 프레임워크를 제안한다. 제안하는 프레임워크는 임의의 학습된 GNN 모델(선생 모델)의 지식을 추출하여, 잘 설계된 학습자 모델(학생 모델)에 주입한다. 학생 모델은 레이블 전파와 특성 변환이라는 두 가지 간단한 예측 메커니즘으로 구성되며, 각각 구조 기반 및 특성 기반의 사전 지식을 자연스럽게 보존한다. 구체적으로, 학생 모델은 매개변수화된 레이블 전파 모듈과 특성 변환 모듈의 학습 가능한 조합으로 설계된다. 그 결과, 학습된 학생 모델은 GNN 선생 모델의 지식뿐 아니라 사전 지식을 동시에 활용하여 보다 효과적인 예측이 가능해진다. 또한, 학생 모델은 GNN보다 더 해석 가능한 예측 과정을 제공한다. 우리는 다섯 개의 공개 벤치마크 데이터셋에서 실험을 수행하였으며, GCN, GAT, APPNP, SAGE, SGC, GCNII, GLP 등 총 일곱 종류의 GNN 모델을 선생 모델로 활용하였다. 실험 결과, 학습된 학생 모델이 해당 선생 모델보다 평균적으로 1.4%~4.7%의 성능 향상을 달성함을 확인하였다. 코드 및 데이터는 https://github.com/BUPT-GAMMA/CPF 에서 제공된다.

그래프 신경망의 지식을 추출하고 그 이상으로 나아가기: 효과적인 지식 증류 프레임워크 | 최신 연구 논문 | HyperAI초신경