비지도 반복 신경망 문법

순환 신경망 문법(RNNG)은 구문과 표면 구조를 동시에 모델링하여 위에서 아래로, 왼쪽에서 오른쪽으로 점진적으로 구문 트리와 문장을 생성하는 언어의 생성 모델입니다. 지도된 RNNG는 강력한 언어 모델링 및 파싱 성능을 달성하지만, 파싱 트리가 주석화된 말뭉치가 필요합니다. 본 연구에서는 비지도 학습을 사용한 RNNG의 학습을 실험하였습니다. 잠재적 트리 공간에 대해 직접적으로 마르코프 경계를 계산하는 것이 불가능하기 때문에, 대신 암모르타이즈 변분 추론을 적용하였습니다. 증거 하위 경계를 최대화하기 위해, 우리는 신경 CRF 구성 요소 분석기로 매개변수화된 추론 네트워크를 개발하였습니다. 영어와 중국어 벤치마크에서 비지도 RNNG는 언어 모델링 측면에서 지도된 대응 모델과 동등한 성능을 보였습니다. 구성 요소 문법 유도 측면에서는 단어로부터 트리 구조를 주의 메커니즘을 통해 유도하는 최근의 신경 언어 모델들과 경쟁력을 갖추고 있습니다.