여러 탐욕적 의존성 파서를 하나의 최소 스패닝 트리(MST) 파서로 정제하기

우리는 새로운 최고 수준의 성능을 달성한 두 개의 1차 그래프 기반 의존 구문 분석기(dependency parsers)를 소개합니다. 첫 번째는 서로 다른 랜덤 초기화를 가진 독립적으로 훈련된 탐욕적인 LSTM 전이 기반 분석기들의 앙상블로 구성된 합의 분석기입니다. 우리는 이 접근법을 해밍 비용(Hamming cost) 하에서 최소 베이즈 위험 해독(minimum Bayes risk decoding)으로 표현하며, 앙상블 내에서 더 약한 합의가 어려움이나 모호성을 나타내는 유용한 신호라고 주장합니다. 두 번째 분석기는 앙상블을 단일 모델로 "정제"하는 것입니다. 우리는 각 가능한 연결에 대한 앙상블 불확실성 추정치를 통합한 새로운 비용 함수를 사용하여 구조적 힌지 손실(structured hinge loss) 목적함수로 정제 분석기를 훈련시킵니다. 이 방법은 표준 정제 목적함수를 구조적 출력 문제에 적용할 때 필요한 계산이 불가능한 교차 엔트로피(cross-entropy) 계산을 피할 수 있습니다. 1차 정제 분석기는 영어, 중국어, 그리고 독일어에서 최고 수준의 성능과 일치하거나 이를 초월합니다.