초록
추상 의미 표현(AMR)은 텍스트의 핵심 의미 정보를 그래프 구조로 나타내는 방식이다. 최근 기존 언어 모델(PLM)은 AMR 파싱 및 AMR-to-텍스트 생성 작업에서 각각 성과를 향상시켰다. 그러나 PLM은 일반적으로 텍스트 데이터 위에서 사전 훈련되기 때문에 구조 지식을 모델링하는 데 최적화되어 있지 않다. 이를 해결하기 위해 본 연구에서는 AMR 그래프 상에서 PLM의 구조 인지 능력을 향상시키기 위해 그래프 자기지도 학습(graph self-supervised training)을 탐구한다. 구체적으로, 그래프-투-그래프 사전 훈련을 위한 두 가지 그래프 오토인코딩 전략과 사전 훈련 과정에서 텍스트와 그래프 정보를 통합하기 위한 네 가지 작업을 제안한다. 또한 사전 훈련과 미세조정 간의 격차를 해소하기 위한 통합 프레임워크를 설계하였다. AMR 파싱 및 AMR-to-텍스트 생성 작업에서의 실험 결과는 제안 모델의 우수성을 입증한다. 지식에 따르면, 본 연구는 의미 그래프 위에서의 사전 훈련을 고려한 최초의 연구이다.