要約
再帰型ニューラルネットワーク（RNN）は、多くのシーケンス・ツー・シーケンスのモデリングタスクにおいて最先端の結果を達成しています。しかし、RNNは訓練が難しく、過学習の傾向があります。データ処理の不等式（Data Processing Inequality: DPI）に着想を得て、多層ネットワークをマルコフ連鎖として定式化し、ネットワークを段階的に訓練する方法と層ごとの勾配クリッピングを使用する訓練手法を提案しました。当該手法を従来導入された正則化および最適化手法と組み合わせて適用した結果、言語モデルタスクで動作する最先端アーキテクチャにおける性能向上が確認されました。