2달 전

문법과 어휘를 함께 학습하는 신경 언어 모델링

Yikang Shen; Zhouhan Lin; Chin-Wei Huang; Aaron Courville
문법과 어휘를 함께 학습하는 신경 언어 모델링
초록

우리는 감독되지 않은 문법 구조 유도가 가능한 신경 언어 모델을 제안합니다. 이 모델은 구조 정보를 활용하여 더 나은 의미 표현과 더 나은 언어 모델링을 수행합니다. 표준 순환 신경망은 그들의 구조적 한계로 인해 문법 정보를 효율적으로 사용하지 못합니다. 반면에 트리 구조의 재귀 네트워크는 인간 전문가의 주석 비용을 지불하면서 추가적인 구조적 감독을 필요로 합니다. 본 논문에서는 무주석 문장에서 동시에 문법 구조를 유도하고, 추론된 구조를 활용하여 더 나은 언어 모델을 학습할 수 있는 새로운 신경 언어 모델인 파싱-리딩-예측 네트워크(Parsing-Reading-Predict Networks, PRPN)를 제안합니다. 우리의 모델에서는 언어 모델 손실로부터 신경 파싱 네트워크로 직접 기울기가 역전파될 수 있습니다. 실험 결과, 제안된 모델이 잠재적인 문법 구조를 발견하고, 단어/문자 단위의 언어 모델 작업에서 최고 수준의 성능을 달성함을 보여줍니다.