2달 전

신경 종속성 분석을 위한 깊은 양방향 주의력 모델

Timothy Dozat; Christopher D. Manning
신경 종속성 분석을 위한 깊은 양방향 주의력 모델
초록

본 논문은 Kiperwasser와 Goldberg(2016)의 최근 연구를 바탕으로 신경망 주의 메커니즘을 사용한 간단한 그래프 기반 의존성 파서를 개발합니다. 우리는 다른 최근의 BiLSTM 기반 접근 방식보다 더 크지만 철저히 규제된 파서를 사용하며, 이진 분류기를 통해 아크(arc)와 라벨(label)을 예측합니다. 우리의 파서는 6개 언어에 대한 표준 트리뱅크에서 최고 수준 또는 그에 근접한 성능을 보여주며, 가장 인기 있는 영어 PTB 데이터셋에서 95.7%의 UAS(Unlabeled Attachment Score)와 94.1%의 LAS(Labeled Attachment Score)를 달성했습니다. 이로써 본 파서는 이 벤치마크에서 최고 성능을 보이는 그래프 기반 파서가 되었으며, Kiperwasser와 Goldberg(2016)의 결과보다 각각 1.8%와 2.2% 향상되었습니다. 또한, 최고 성능을 보이는 전이 기반 파서(Kuncoro 등, 2016)와 유사한 성능을 나타내며, 이는 95.8%의 UAS와 94.6%의 LAS를 달성합니다. 또한 우리는 어떤 하이퍼파라미터 선택이 파싱 정확도에 큰 영향을 미쳤는지를 보여주며, 이를 통해 다른 그래프 기반 접근 방식보다 크게 향상된 성과를 얻었습니다.

신경 종속성 분석을 위한 깊은 양방향 주의력 모델 | 최신 연구 논문 | HyperAI초신경