2달 전

신경망 전이 기반 파싱을 위한 구조화된 훈련

David Weiss; Chris Alberti; Michael Collins; Slav Petrov
신경망 전이 기반 파싱을 위한 구조화된 훈련
초록

우리는 신경망 기반 전이 의존성 구문 분석을 위한 구조화된 퍼셉트론 학습 방법을 제시합니다. 금자탑 말뭉치에 대규모 자동으로 파싱된 문장들을 추가하여 신경망 표현을 학습합니다. 이 고정된 네트워크 표현을 바탕으로, 빔 검색 디코딩을 사용하여 최종 층을 구조화된 퍼셉트론을 통해 학습합니다. 펜 트리뱅크에서 우리의 파서는 94.26%의 비라벨 연결 정확도와 92.41%의 라벨 연결 정확도를 달성하였습니다. 이는 우리가 아는 한, 스탠퍼드 의존 관계에 대한 최고의 정확도입니다. 또한, 모델의 어떤 부분이 정확도를 가장 크게 개선하는지 결정하기 위해 깊이 있는 점진적 분석(ablative analysis)을 제공합니다.

신경망 전이 기반 파싱을 위한 구조화된 훈련 | 최신 연구 논문 | HyperAI초신경