要約
本稿では、大規模なLong Short-Term Memory (LSTM) ネットワークのパラメータ数を削減し、学習を加速するための2つの簡易的な方法を提案します。第1の方法は、「設計上の行列分解」であり、LSTM行列を2つのより小さな行列の積に分解します。第2の方法は、LSTM行列、その入力および状態を独立したグループに分割することです。これらの手法により、大幅に少ないRNNパラメータを使用しながら、大規模なLSTMネットワークを現行の最先端に近い困惑度で著しく速く学習させることができます。