JointGT: 지식 그래프에서 텍스트 생성을 위한 그래프-텍스트 공동 표현 학습

지식 그래프에서 텍스트로의 변환(KG-to-text)을 위한 기존 사전 학습 모델은 BART 또는 T5와 같은 텍스트-텍스트 사전 학습 모델을 KG-to-text 데이터셋으로 미세 조정(fine-tune)하는 방식을 취하여, 주로 그래프 구조를 인코딩 과정에서 무시하고 그래프-텍스트 정렬을 명시적으로 모델링하기 위한 세부적인 사전 학습 작업이 부족하다. 이러한 문제들을 해결하기 위해, 우리는 그래프-텍스트 연합 표현 학습 모델인 JointGT를 제안한다. 인코딩 과정에서는 각 트랜스포머 레이어에 연결되는 구조 인식 의미 집계 모듈(structure-aware semantic aggregation module)을 설계하여 그래프 구조를 유지하도록 하였다. 또한, 그래프-텍스트 정렬을 명시적으로 강화하기 위한 세 가지 새로운 사전 학습 작업을 제안하였는데, 이는 각각의 텍스트 / 그래프 재구성(reconstruction)과 최적 운송(Optimal Transport)을 통한 임베딩 공간에서의 그래프-텍스트 정렬을 포함한다. 실험 결과, JointGT는 다양한 KG-to-text 데이터셋에서 새로운 최고 수준의 성능(state-of-the-art performance)을 달성하였다.