사전 학습된 언어 모델을 활용한 그래프-텍스트 생성 연구

그래프-텍스트 생성은 그래프 기반 데이터에서 유창한 텍스트를 생성하는 것을 목표로 합니다. 본 논문에서는 최근 제안된 사전 학습 언어 모델(PLM) 두 가지를 조사하고, 그래프-텍스트 생성을 위한 PLM의 다양한 과제 적응 사전 학습 전략의 영향을 분석합니다. 우리는 의미 표현, 위키백과 지식 그래프(KG), 그리고 과학적 KG 세 가지 그래프 영역에 걸친 연구를 제시합니다. 결과적으로 BART와 T5 PLM이 새로운 최고 수준의 성능을 달성하였으며, 과제 적응 사전 학습 전략이 이들의 성능을 더욱 개선시키는 것으로 나타났습니다. 특히, LDC2017T10 데이터셋에서 49.72, WebNLG 데이터셋에서 59.70, AGENDA 데이터셋에서 25.66의 새로운 최고 수준 BLEU 점수를 보고하며, 각각 상대적으로 31.8%, 4.5%, 42.4%의 개선률을 보였습니다. 광범위한 분석을 통해 PLM이 그래프-텍스트 작업에서 성공한 가능한 이유들을 파악하였습니다. 우리는 입력 그래프 표현이 노드와 엣지 라벨의 단순 집합으로 축소되더라도 그들이 진실된 사실에 대한 지식이 성능 향상에 도움이 되는 증거를 발견하였습니다.