단계별 미세 조정을 통한 그래프-텍스트 생성

그래프-텍스트 생성은 사전 학습된 언어 모델(PLM)을 통해 구조화된 그래프 인코더보다 더 우수한 성능을 달성하였습니다. 그러나 이러한 모델들은 입력 그래프의 구조 정보를 완전히 활용하지 못하고 있습니다. 본 논문에서는 이러한 문제점을 해결하기 위해, 위키백과에서 먼저 미세 조정(fine-tuning)을 수행한 후 그래프-텍스트 생성에 적응시키는 두 단계의 미세 조정 메커니즘을 갖춘 구조화된 그래프-텍스트 모델을 제안하여, 사전 학습된 언어 모델의 성능을 더욱 향상시키고자 합니다. 전통적인 토큰 및 위치 임베딩(token and position embeddings)을 사용하여 지식 그래프(KG)를 인코딩하는 것뿐만 아니라, 입력 그래프의 상호 의존 구조를 포착하기 위한 새로운 트리 레벨 임베딩(tree-level embedding) 방법을 제안합니다. 이 새로운 접근 방식은 영어 WebNLG 2017 데이터셋에 대한 모든 텍스트 생성 평가 지표에서 성능이 크게 향상되었습니다.