언어 모델 앙상블 증류를 통한 비지도 구성 요소 파싱

우리는 감독되지 않은 구문 분석 작업을 조사합니다. 이 작업은 언어학적으로 주석화된 데이터를 사용하지 않고 문장의 단어와 구를 계층적 구조로 조직하는 것입니다. 우리는 기존의 감독되지 않은 파서들이 구문 분석 구조의 서로 다른 측면을 포착한다는 것을 관찰하였습니다. 이를 활용하여 감독되지 않은 구문 분석 성능을 향상시킬 수 있습니다. 이를 위해 "트리 평균(tree averaging)"이라는 개념을 제안하며, 이를 바탕으로 새로운 앙상블 방법을 제안합니다. 추론 효율성을 개선하기 위해, 우리는 앙상블 지식을 학생 모델에 전달하는 방법도 제안합니다. 이러한 앙상블-전달 과정은 일반적인 다중 교사 전달 방법에서 발생하는 과도한 평활화 문제를 완화하는 효과적인 접근 방식입니다. 실험 결과, 우리의 방법이 모든 이전 접근 방식을 능가하며, 다양한 실행, 다른 앙상블 구성 요소, 그리고 도메인 변화 조건 하에서 일관성 있게 그 유효성과 강건성을 입증하였습니다.