GAP: 지식 그래프-텍스트 생성을 위한 그래프 인지 언어 모델 프레임워크

최근 지식 그래프(KG)에서 텍스트 생성의 개선은 미세 조정(fine-tune) 작업의 성능을 향상시키기 위해 설계된 추가적인 보조 사전 학습 작업(pre-training tasks) 덕분입니다. 이러한 작업들은 극히 적은 개선만을 제시하면서도 방대한 계산 자원을 필요로 합니다. 본 연구에서는 기존의 사전 학습 언어 모델(pre-trained language models)에 그래프 인식(graph-aware) 요소를 융합함으로써 최신 모델들을 능가하고 추가 사전 학습 작업이 초래하는 격차를 좁힐 수 있음을 입증합니다. 이를 위해 우리는 이웃 정보를 포착하기 위한 마스크 구조(mask structure)와 연결 유형(connection type)에 따라 그래프 주의 가중치(graph-attention weights)에 편향(bias)을 추가하는 새로운 타입 인코더(type encoder)를 제안합니다. 두 개의 KG-to-text 벤치마크 데이터셋(benchmark datasets)에서 수행한 실험 결과, 우리의 모델들은 더 적은 매개변수와 추가 사전 학습 작업 없이 경쟁력을 유지함을 보여줍니다. 문제를 프레임워크로 정식화(formulate the problem as a framework)함으로써, 우리는 다양한 제안된 구성요소들을 교환할 수 있으며 그래프 내에서 발견되는 위상(topological) 및 유형(type) 정보를 바탕으로 KG-to-text 생성 모델을 해석할 수 있게 됩니다.