時系列データからの学習における中心的な問題は、より多くのデータが処理されるにつれて累積的な履歴を逐次的に表現することである。本稿では、多項式基底への射影によって連続信号や離散時間系列のオンライン圧縮を行う一般的なフレームワーク（HiPPO）を導入する。過去の各時間ステップの重要性を指定する測度が与えられた場合、HiPPOは自然なオンライン関数近似問題に対する最適解を生成する。本フレームワークの特殊ケースとして、最近提唱されたLegendre Memory Unit (LMU) の基本原理から短い導出が得られ、さらにGRUなどの再帰型ニューラルネットワークで一般的に使用されているゲーティング機構を一般化する。この形式的なフレームワークにより、すべての履歴を記憶し、時間スケールに関する事前知識を持たずに時間を通じて拡大する新しいメモリ更新機構（HiPPO-LegS）が提案される。HiPPO-LegSは、時間スケールへの堅牢性、高速な更新、および有界勾配という理論的な利点を持つ。メモリダイナミクスを再帰型ニューラルネットワークに組み込むことで、HiPPO RNNは経験的に複雑な時間依存関係を捉えることができる。ベンチマークの並べ替えMNISTデータセットにおいて、HiPPO-LegSは98.3%という新しい最先端の精度を達成した。最後に、分布外の時間スケールと欠損データに対する堅牢性をテストする新たな軌道分類タスクにおいて、HiPPO-LegSはRNNや神経ODEベースラインに対して25-40%高い精度を示している。