초록
우리는 대형 Long Short-Term Memory (LSTM) 네트워크의 매개변수 수를 줄이고 학습 속도를 높이는 두 가지 간단한 방법을 제시합니다. 첫 번째 방법은 LSTM 행렬을 두 개의 더 작은 행렬의 곱으로 설계적으로 인수 분해하는 "설계적 행렬 인수 분해"이며, 두 번째 방법은 LSTM 행렬, 입력 및 상태를 독립적인 그룹으로 분할하는 것입니다. 이 두 가지 접근 방식은 현저히 적은 RNN 매개변수를 사용하면서도 최신 수준에 가까운 퍼플렉서티(perplexity)로 대형 LSTM 네트워크를 현저히 빠르게 학습할 수 있게 합니다.