長時間系列のためのニューラル粗糙微分方程式

ニューラル制御微分方程式（Neural Controlled Differential Equations: Neural CDEs）は、再帰型ニューラルネットワーク（RNN）の連続時間版であり、ニューラルODEが残差ネットワーク（ResNet）に対応するように、不規則な時系列関数をメモリ効率の良い連続時間モデルとして表現する手法を提供する。既存のNeural CDEの順伝播計算手法では、入力時系列をパス空間に埋め込み（しばしば補間によって）、そのパスの評価値を隠れ状態の駆動源として用いる。本研究では、粗いパス理論（rough path theory）を用いてこの定式化を拡張する。パス空間への直接埋め込みではなく、小さな時間区間における入力信号をその「対数シグネチャ（log-signature）」によって表現する。対数シグネチャは、信号がCDEにどのように駆動を与えるかを記述する統計量であり、これは「粗い微分方程式（Rough Differential Equations: RDEs）」を解く際の標準的手法である。この観点から、本研究の主な貢献は、Neural RDEsの導入であると位置づけることができる。この拡張の目的は、駆動信号のクラスをより広範に一般化することにあり、特に長時間系列に対する処理において顕著な利点を示す。本研究では、最大17,000観測値に達する長大な時系列問題に対して有効性を実証し、既存手法と比較して、トレーニング速度の大幅な向上、モデル性能の改善、およびメモリ使用量の削減を観測した。