초록
재귀 신경망은 언어 모델링과 같은 작업에서 단어 시퀀스를 예측하는 데 매우 성공적이었습니다. 그러나 이러한 모든 모델은 전통적인 분류 프레임워크에 기반하여, 모델이 원-핫 타겟에 대해 훈련되고 각 단어가 입력과 출력으로 독립적으로 표현됩니다. 이는 모든 정보를 활용하는 측면과 훈련에 필요한 매개변수의 수 측면에서 학습 효율성을 저하시킵니다. 우리는 언어 모델링에서 더 나은 학습을 촉진하는 새로운 이론적 프레임워크를 제안하며, 이 프레임워크가 입력 임베딩 행렬과 출력 투영 행렬을 연결하여 훈련 가능한 변수의 수를 크게 줄이는 것을 보여줍니다. 우리의 프레임워크는 다양한 네트워크 모델을 사용하여 Penn Treebank 데이터셋에서 최고의 성능을 달성하였습니다.