ゲーティングの再検討：学習可能な深層マルチレイヤーRNNの研究

私たちは、リカレントニューラルネットワーク（RNN）向けに新しいスタック可能なリカレントセル（STAR: STAckable Recurrent cell）を提案します。このセルは、広く使用されているLSTMやGRUよりも少ないパラメータを持ちながら、勾配消失や勾配爆発に対してより堅牢です。リカレントユニットを深層アーキテクチャに積み重ねる際には、主に以下の2つの制限があります：(i) 多くのリカレントセル（例えば、LSTM）はパラメータと計算資源の面でコストが高い；(ii) 深層RNNは訓練中に勾配消失や勾配爆発が起こりやすい。私たちは多層RNNの訓練を調査し、「垂直」方向にネットワーク内を伝播する勾配の大きさを検討しました。分析結果から、基本的なリカレントユニットの構造によって勾配が系統的に減衰または増幅されることが示されました。この分析に基づいて、勾配の大きさをよりよく保つ新しいタイプのゲート付きセルを設計しました。私たちは多数のシーケンスモデリングタスクで設計の有効性を検証し、提案されたSTARセルがより深いリカレントアーキテクチャの構築と訓練を可能にし、最終的には性能向上につながることを示しました。また、計算効率も高いことが確認されています。