BertGCN: GCN과 BERT를 결합한 전도성 텍스트 분류

본 연구에서는 텍스트 분류를 위해 대규모 사전 훈련과 전이 학습(Transductive Learning)을 결합한 BertGCN 모델을 제안한다. BertGCN은 데이터셋 위에 이질적 그래프(heterogeneous graph)를 구축하고, BERT 표현을 사용하여 문서를 노드로 표현한다. BertGCN 내부의 BERT 및 GCN 모듈을 공동으로 훈련함으로써, 두 분야의 장점을 효과적으로 활용할 수 있다. 즉, 방대한 원시 데이터를 활용할 수 있는 대규모 사전 훈련의 이점과, 그래프 컨볼루션을 통해 레이블 영향을 전파함으로써 훈련 데이터와 레이블이 없는 테스트 데이터의 표현을 함께 학습하는 전이 학습의 이점을 동시에 갖춘다. 실험 결과, BertGCN은 다양한 텍스트 분류 데이터셋에서 최신 기준(SOTA) 성능을 달성하였다. 코드는 https://github.com/ZeroRin/BertGCN 에서 제공된다.