반복적 개선을 통한 순환 비자기적 그래프-투-그래프 트랜스포머를 이용한 의존성 구문 분석

우리는 비자기적 그래프-그래프 변환기(Non-autoregressive Graph-to-Graph Transformer)를 반복적으로 적용함으로써 임의의 그래프를 반복적으로 개선하는 Recursive Non-autoregressive Graph-to-Graph Transformer(RNGTr) 아키텍처를 제안하고, 이를 구문적 의존성 분석에 적용한다. BERT로 사전 훈련된 개선 모델을 사용하여 여러 의존성 코퍼스에서 RNGTr의 강력함과 효과성을 입증한다. 또한 본 연구의 개선 모델과 유사한 비반복적 구문 분석기인 Syntactic Transformer(SynTr)을 도입한다. RNGTr는 유니버설 의존성 트리뱅크(UD)의 13개 언어, 영어 및 중국어 Penn Treebank, 독일어 CoNLL2009 코퍼스를 포함한 다양한 데이터셋에서 다양한 초기 분석기의 정확도를 향상시킬 수 있으며, SynTr가 달성한 최신 기준 성능을 초과하는 성능을 보이며, 테스트된 모든 코퍼스에서 상태의 경지(STATE-OF-THE-ART)를 크게 향상시킨다.