要約
連続時間の隠れ状態を持つ再帰型ニューラルネットワーク（RNN）は、非規則にサンプリングされた時系列データのモデリングに自然な適合性があります。しかし、これらのモデルは、入力データが長期依存関係を有する場合に困難に直面します。私たちは、標準的なRNNと同様に、この問題の根本的な原因が訓練中に勾配が消失または爆発することにあることを証明しました。この現象は、隠れ状態の常微分方程式（ODE）表現によって表され、ODEソルバーの選択に関わらず発生します。私たちは新しいアルゴリズムを設計することで解決策を提供します。このアルゴリズムは、長期短期記憶（LSTM）に基づいており、そのメモリと時間連続状態を分離しています。これにより、RNN内に連続時間の動的フローを符号化し、任意の時間遅延で到着する入力に対応しながら、メモリパスを通じて一定の誤差伝播を確保することが可能になります。このようなRNNモデルをODE-LSTMと呼びます。実験結果から、ODE-LSTMが非一様サンプリングされた長期依存関係を持つデータにおいて、先進的なRNNベースの対応モデルよりも優れた性能を示すことが確認されました。すべてのコードとデータは以下のURLで公開されています: https://github.com/mlech26l/ode-lstms.