要約
再帰型ニューラルネットワーク（RNN）は、特に空間的な深さを持つ構造を備えた場合、訓練が困難である。時間ステップ間の遷移深さを拡大できるように設計された、ハイウェイ接続を基盤とするアーキテクチャ（例えば、再帰型ハイウェイネットワーク：RHN）が提案されてきたが、長期依存関係を捉える必要がある問題に対しては依然として十分な性能を発揮できない。さらに、空間的な深さが増すにつれて、長期記憶を保持する能力が低下する傾向がある。これは、深層構造が勾配消失を加速させるためである。本論文では、RHNを基盤とし、グループ化された補助記憶ユニット（Grouped Auxiliary Memory, GAM）を導入した新しいRNNアーキテクチャ、GAM-RHNを提案することで、これらの課題に取り組む。本アーキテクチャは、読出し・書込み操作を通じて、RHNと補助記憶ユニット群を相互接続し、長期情報を効果的に保存する仕組みを備えている。これはメモリ拡張型ニューラルネットワーク（MANNs）と類似したアプローチである。人工的な長期ラグタスクにおける実験結果から、GAM-RHNは時間的・空間的に深い構造でありながら、効率的に学習可能であることが示された。また、言語モデリング、順序付き画像分類、金融市場予測といった多様なタスクにおいても本アーキテクチャを評価した結果、これらのタスクにおいて最先端の性能を達成することにより、本手法の有効性が実証された。