リカレント、コンボリューション、および連続時間モデルを線形状態空間層と組み合わせる

再帰型ニューラルネットワーク（RNN）、時間畳み込み、およびニューラル微分方程式（NDE）は、時系列データの処理に広く使用される深層学習モデルの代表的な家族であり、それぞれがモデリング能力と計算効率において独自の長所とトレードオフを持っています。本研究では、制御システムに着想を得た単純なシーケンスモデルを提案し、これらのアプローチを一般化しながらその欠点を解決します。線形状態空間レイヤー（LSSL）は、単純に線形連続時間状態空間表現 $\dot{x} = Ax + Bu, y = Cx + Du$ をシミュレーションすることで、シーケンス $u \mapsto y$ をマッピングします。理論的には、LSSL モデルが上記の3つのモデルファミリーと密接に関連しており、それらの長所を受け継いでいることを示しています。例えば、畳み込みを連続時間へ一般化し、一般的なRNNのヒューリスティックを説明し、NDEのような時間尺度適応などの特徴を共有しています。さらに、最近の連続時間記憶に関する理論を取り入れて一般化し、LSSLに長期記憶機能を与える構造行列 $A$ の訓練可能な部分集合を導入します。実験的には、LSSL レイヤーを積み重ねた単純な深層ニューラルネットワークが、長期依存性を持つ時系列ベンチマークにおける逐次画像分類や実世界の医療回帰タスク、音声処理などで最先端の結果を得ています。特に難易度の高い16000長さの音声分類タスクでは、LSSLが従来の手法よりも24ポイント高い精度を達成しており、手作業で特徴量を作成した100倍短いシーケンスを使用する基準モデルさえも上回っています。