순환 신경망 문법이 구문을 어떻게 학습하는가?

순환 신경망 문법(RNNG)은 자연어를 위한 최근에 제안된 확률적 생성 모델링 가족입니다. 이 모델들은 최고 수준의 언어 모델링 및 구문 분석 성능을 보여줍니다. 본 연구에서는 다양한 모델과 데이터의 축소 실험을 통해, 그리고 주의 메커니즘(Attention Mechanism)을 추가하여 더 자세한 검사를 가능하게 하는 GA-RNNG 모델을 사용하여, 이들이 언어학적 관점에서 어떤 정보를 학습하는지 조사하였습니다. 우리는 구성의 명시적인 모델링이 최상의 성능을 달성하는 데 필수적임을 발견하였습니다. 주의 메커니즘을 통해, 우리는 문구 표현에서 중심성이 중추적인 역할을 함을 발견하였습니다(모델의 잠재적 주의가 수작업으로 만든 중심 규칙에 의해 예측된 것과 크게 일치하나, 중요한 차이점도 일부 존재합니다). 비종단(nonterminal) 라벨 없이 문법을 훈련시키는 실험 결과, 문구 표현이 비종단에 거의 의존하지 않는다는 사실을 발견하였습니다. 이는 내부중심성(endocentricity) 가설을 지지합니다.