長尺表現記憶によるシーケンスモデリング

私たちは、長期の逐次的依存関係を学習するための新しい手法であるLong Expressive Memory（LEM）を提案します。LEMは勾配に基づいており、非常に長期的な逐次的タスクを効率的に処理でき、複雑な入出力マッピングを学習するのに十分な表現力を有しています。LEMの導出に際しては、多スケール常微分方程式系とその適切な時間離散化を考えました。LEMに対して、爆発・消失勾配問題の緩和を示す厳密な境界を導出し、この問題が勾配ベースの再帰的な逐次学習手法におけるよく知られた課題であることを明確にしました。また、LEMが高精度で広範な動的システムを近似できることが証明されています。私たちの経験的な結果は、画像分類から時系列分類、動的システム予測、音声認識、言語モデルまで幅広く示しており、LEMが最先端の再帰型ニューラルネットワーク、ゲート付き再帰型ユニット、および長短期記憶モデルよりも優れていることを実証しています。