스택-트랜스포머를 활용한 전이 기반 구문 분석

전이 기반 구문 분석에서 파서 상태를 모델링하는 것은 우수한 성능을 얻는 데 핵심적인 요소이다. 순환 신경망(RNN)은 스택-LSTM 파서와 같이 전역 상태를 모델링하거나, Bi-LSTM 파서와 같이 문맥 기반 특징의 국소 상태를 모델링함으로써 전이 기반 시스템의 성능을 크게 향상시켰다. 최근의 구문 분석 시스템에서 Transformer 아키텍처가 성공을 거두면서, 본 연구는 전이 기반 구문 분석에서 전역 또는 국소 파서 상태를 모델링하기 위해 시퀀스-투-시퀀스 Transformer 아키텍처를 어떻게 개선할 수 있는지를 탐구한다. 우리는 Transformer의 크로스 어텐션 메커니즘을 수정함으로써 의존성 분석 및 추상 의미 표현(AMR) 분석 작업 모두에서 성능이 크게 향상됨을 보이며, 특히 작은 모델이나 제한된 학습 데이터를 사용하는 경우에 두드러진 효과를 확인하였다.