Ein zentrales Problem beim Lernen aus sequenziellen Daten ist die inkrementelle Darstellung der kumulativen Geschichte, während immer mehr Daten verarbeitet werden. Wir stellen ein allgemeines Framework (HiPPO) vor, das die Online-Kompression kontinuierlicher Signale und diskreter Zeitreihen durch Projektion auf Polynombasen ermöglicht. Angesichts einer Maßnahme, die die Bedeutung jedes Zeitpunkts in der Vergangenheit spezifiziert, generiert HiPPO eine optimale Lösung für ein natürliches Online-Funktionsapproximationsproblem. Als Spezialfälle liefert unser Framework eine kurze Herleitung des jüngst eingeführten Legendre Memory Units (LMU) aus ersten Prinzipien und verallgemeinert das weit verbreitete Gating-Mechanismus von rekurrenten neuronalen Netzen wie GRUs. Dieses formale Framework führt zu einem neuen Mechanismus zur Aktualisierung des Gedächtnisses (HiPPO-LegS), der sich im Laufe der Zeit erweitert, um alle Geschichte zu speichern und dabei auf Zeitskalenvorannahmen verzichtet. HiPPO-LegS profitiert von den theoretischen Vorteilen der Zeitskalenrobustheit, schneller Aktualisierung und beschränkter Gradienten. Durch die Integration der Gedächtnisdynamik in rekurrente neuronale Netze können HiPPO-RNNs komplexe zeitliche Abhängigkeiten empirisch erfassen. Bei dem Benchmark-Datensatz permuted MNIST erreicht HiPPO-LegS eine neue Rekordgenauigkeit von 98,3 %. Schließlich übertrifft HiPPO-LegS bei einer neuen Trajektorieklassifikationsaufgabe, die Robustheit gegenüber außerhalb der Verteilung liegenden Zeitskalen und fehlenden Daten testet, RNN- und Neural-ODE-Baselines um 25-40 % Genauigkeit.