再帰型ニューラルネットワークの正則化

私たちは、Long Short-Term Memory (LSTM) ユニットを含むRecurrent Neural Networks (RNNs)のための単純な正則化技術を提案します。神経망の正則化において最も成功した技術であるドロップアウトは、RNNやLSTMには適していません。本論文では、LSTMにドロップアウトを正しく適用する方法を示し、それが言語モデル、音声認識、画像キャプション生成、機械翻訳など様々なタスクにおいて過学習を大幅に抑制することを実証します。