再帰的なバッチ正規化

私たちは、LSTMの再パラメータ化を提案し、バッチ正規化の利点を再帰型ニューラルネットワークに持ち込むことを目指しています。従来の研究ではRNNの入力から隠れ層への変換にのみバッチ正規化が適用されていましたが、私たちは隠れ層から隠れ層への遷移にもバッチ正規化を適用することが可能であり有益であることを示しています。これにより、時間ステップ間での内部共変量シフト（internal covariate shift）を軽減することができます。我々はこの提案を、系列分類、言語モデル、質問応答など様々な逐次的な問題に対して評価しました。実験結果は、バッチ正規化されたLSTMが一貫して収束速度の向上と汎化性能の改善につながることを示しています。