要約
長期依存関係を持つ順次入力を正確に処理する再帰型ニューラルネットワーク（RNN）の設計は、勾配爆発および勾配消失問題のため非常に困難です。これらの問題を克服するために、振動子ネットワークをモデル化する2階常微分方程式系のハミルトニアンシステムの構造保存離散化に基づく新しいRNNアーキテクチャを提案します。提案されたRNNは高速であり、時間逆向きにも計算可能で、メモリ効率が高く、隠れ状態の勾配に関する厳密な境界を導出して、勾配爆発および勾配消失問題の軽減を証明しています。一連の実験を通じて、提案されたRNNが（非常に）長期的な依存関係を持つ様々な学習タスクにおいて最先端の性能を提供することを示しています。