16일 전

비국소적 특징 탐구를 통한 신경망 문법 구조 분석

Leyang Cui, Sen Yang, Yue Zhang
비국소적 특징 탐구를 통한 신경망 문법 구조 분석
초록

신경망 인코더의 강력한 표현 능력 덕분에, 지역적 특징을 활용하는 신경망 기반 차트 구문 분석기는 매우 경쟁력 있는 성능을 달성해왔다. 최근에는 CRF 구조 내의 비국소적 특징이 성능 향상에 기여함이 입증되었다. 본 연구에서는 지역적 스팬 기반 분석기의 학습 과정에 비국소적 특징을 도입하는 방법을 탐구한다. 구체적으로 구성 요소 n-그램의 비국소적 패턴을 예측하고, 이 비국소적 패턴과 지역적 구성 요소 간의 일관성을 보장함으로써 이를 구현하였다. 실험 결과, 제안한 간단한 방법이 PTB와 CTB 모두에서 자기주의적(자기주의적 어텐션 기반) 분석기보다 더 우수한 성능을 보였다. 또한, BERT 기반 모델로서는 PTB에서 95.92 F1, CTB에서는 92.31 F1의 최신 기술 수준(SOTA) 성능을 달성하였다. 더불어, 다국어 및 제로샷 교차 도메인 설정에서도 기준 모델 대비 더 나은 또는 경쟁 가능한 성능을 기록하였다.