시퀀스-투-시퀀스 사전학습을 통한 AMR 구문 분석 향상

문헌에서 추상적 의미 표현(AMR) 구문 분석에 대한 연구는 성능이 우수한 AMR 파서를 구축하는 데 핵심적인 역할을 하는 인간 중심의 데이터셋 크기 제한에 의해 크게 제약받고 있다. 이러한 데이터 크기 제약을 완화하기 위해 사전 훈련 모델이 AMR 구문 분석 분야에서 점점 더 많은 주목을 받고 있다. 그러나 기존의 사전 훈련 모델, 예를 들어 BERT와 같은 일반 목적 모델은 AMR 구문 분석이라는 특정 작업에 대해 예상한 만큼의 성능을 발휘하지 못할 수 있다. 본 논문에서는 시퀀스-투-시퀀스(seq2seq) 기반 AMR 구문 분석에 초점을 맞추어, 기계 번역, 문법 분석, 그리고 AMR 구문 분석 자체와 같은 세 가지 관련 작업에 대해 단일 및 공동 방식으로 사전 훈련 모델을 구축하는 seq2seq 사전 훈련 접근법을 제안한다. 또한, 기존의 단순 미세 조정(fine-tuning) 방법을 확장하여, 사전 훈련 모델의 응답성을 유지하려는 노력과 함께 AMR 구문 분석 성능을 최적화하는 다중 작업 학습 미세 조정 방법을 제안한다. 두 개의 영어 벤치마크 데이터셋에서 수행한 광범위한 실험 결과에 따르면, 단일 및 공동 사전 훈련 모델 모두 성능이 크게 향상되었으며(예: AMR 2.0에서 71.5에서 80.2로), 최신 기술 수준에 도달하였다. 특히 복잡한 모델이 아닌 seq2seq 모델을 사용함에도 불구하고 이와 같은 성과를 달성한 점은 매우 긍정적인 결과이다. 본 연구의 코드 및 모델은 https://github.com/xdqkid/S2S-AMR-Parser 에서 공개한다.