초록
대부분의 비지도 종속성 분석기는 부모-자식 간의 국소 정보만 고려하는 일차 확률적 생성 모델을 기반으로 합니다. 지도 종속성 분석의 이차 모델에서 영감을 받아, 조부모-자식 또는 형제 정보를 통합한 비지도 신경망 종속성 모델의 이차 확장안을 제안하였습니다. 또한 종속성 모델의 신경망 매개변수화 및 최적화 방법에 대한 새로운 설계를 제안합니다. 이차 모델에서는 어휘 크기가 증가함에 따라 문법 규칙의 수가 세제곱으로 증가하여, 수천 개의 단어를 포함할 수 있는 어휘화된 모델을 훈련시키는 것이 어렵습니다. 이러한 문제를 해결하면서 동시에 이차 파싱과 어휘화의 장점을 활용하기 위해, 합의 기반 학습 프레임워크를 사용하여 이차 비어휘화된 모델과 일차 어휘화된 모델을 공동으로 훈련시킵니다. 여러 데이터셋에 대한 실험 결과, 최근 최신 방법들과 비교하여 우리의 이차 모델이 효과적임을 보여주었습니다. 우리의 공동 모델은 전체 WSJ 테스트 셋에서 이전 최신 파서보다 10% 개선된 성능을 보였습니다.