液体構造状態空間モデル

線形状態空間モデル（SSM）の状態遷移行列の適切なパラメータ化と標準的な非線形関数の適用により、これらのモデルは逐次データから効率的に表現を学習し、長距離シーケンスモデリングベンチマークにおいて最先端の成果を達成しています。本論文では、S4などの構造的SSMが線形液体時間定数（LTC）状態空間モデルによって与えられる場合に、さらなる改善が可能であることを示します。LTCニューラルネットワークは、入力依存の状態遷移モジュールを持つ因果連続時間ニューラルネットワークであり、これにより推論時に到来する入力に適応して学習することができます。S4で導入された対角行列と低階数分解を使用し、いくつかの簡略化を行うことで、LTCに基づく構造的状態空間モデル（Liquid-S4）は、画像、テキスト、音声、医療時系列など長期依存性を持つシーケンスモデリングタスクにおいて新しい最先端の汎化性能を達成しました。Long-Range Arenaベンチマークでの平均性能は87.32%です。完全な生Speech Command認識データセットでは、Liquid-S4はS4と比較してパラメータ数を30%削減しながら96.78%の精度を達成しました。性能向上の追加的な利点は、訓練および推論中に入力シーケンスサンプルの類似性を考慮するLiquid-S4のカーネル構造による直接的な結果です。