2달 전
전역적으로 정규화된 전이 기반 신경망
Daniel Andor; Chris Alberti; David Weiss; Aliaksei Severyn; Alessandro Presta; Kuzman Ganchev; Slav Petrov; Michael Collins
초록
우리는 전 세계적으로 정규화된 전이 기반 신경망 모델을 소개합니다. 이 모델은 최고 수준의 품사 태깅, 의존 구문 분석 및 문장 압축 결과를 달성합니다. 우리의 모델은 작업 특정 전이 시스템에서 작동하는 간단한 피드포워드 신경망이며, 순환 모델보다 유사하거나 더 우수한 정확도를 보입니다. 우리는 지역 정규화 대신 전 세계적인 정규화의 중요성을 논의합니다. 핵심적인 통찰력은 라벨 편향 문제가 전 세계적으로 정규화된 모델이 지역적으로 정규화된 모델보다 엄격히 더 표현력이 뛰어날 수 있다는 점을 시사한다는 것입니다.