구조 인지형 시퀀스-투-시퀀스 변환기의 전이 기반 AMR 구문 분석을 위한 미세 조정

최근에 사전 훈련된 시퀀스-투-시퀀스 Transformer 모델을 사용하여 선형화된 추상 의미 표현(AMR) 그래프를 예측하는 방법이 AMR 구문 분석 벤치마크에서 큰 성능 향상을 이끌어냈다. 이러한 구문 분석기는 간단하며 구조를 명시적으로 모델링하지 않지만, 그래프의 잘 구성된 성질 보장이나 내장된 그래프-문장 대응 같은 바람직한 특성이 부족하다. 본 연구에서는 일반적인 사전 훈련된 시퀀스-투-시퀀스 언어 모델과 구조 인지 전이 기반 접근법을 통합하는 방안을 탐구한다. 우리는 포인터 기반 전이 시스템에서 출발하여, 사전 훈련된 언어 모델을 구조적 미세 조정에 더 효과적으로 활용할 수 있도록 개선된 단순화된 전이 집합을 제안한다. 또한, 사전 훈련된 인코더-디코더 아키텍처 내에서 구문 분석기 상태를 모델링하는 방법과 동일한 목적을 위한 다양한 어휘 전략도 탐색한다. 본 연구는 최근의 AMR 구문 분석 기술과의 상세한 비교를 제공하며, 제안하는 구문 분석기가 이전의 전이 기반 접근법이 지닌 바람직한 특성을 유지하면서도 더 간단한 구조를 가지며, 그래프 재분류 없이도 AMR 2.0에 대해 새로운 구문 분석 최고 성능을 달성함을 보여준다.