Rekurrente Neuronale Netze (RNNs) mit kontinuierlichen verborgenen Zuständen sind eine natürliche Wahl für die Modellierung unregelmäßig abgetasteter Zeitreihen. Diese Modelle haben jedoch Schwierigkeiten, wenn die Eingangsdaten langfristige Abhängigkeiten aufweisen. Wir beweisen, dass ähnlich wie bei standardmäßigen RNNs der zugrunde liegende Grund für dieses Problem das Verschwinden oder Explodieren des Gradienten während des Trainings ist. Dieses Phänomen wird durch die gewöhnliche Differentialgleichung (ODE) Darstellung des verborgenen Zustands ausgedrückt, unabhängig von der Wahl des ODE-Solvers. Wir bieten eine Lösung, indem wir einen neuen Algorithmus basierend auf dem Long Short-Term Memory (LSTM)-Modell entwickeln, der dessen Speicher von seinem zeitkontinuierlichen Zustand trennt. Auf diese Weise kodieren wir einen zeitkontinuierlichen dynamischen Fluss innerhalb des RNNs, wodurch es auf Eingaben reagieren kann, die zu beliebigen Zeitverzögerungen eintreffen, und gleichzeitig eine konstante Fehlerfortpflanzung entlang des Speicherpfads sicherstellen. Wir nennen diese RNN-Modelle ODE-LSTMs. Experimentelle Ergebnisse zeigen, dass ODE-LSTMs fortgeschrittene RNN-basierte Konkurrenten bei nicht-uniform abgetasteten Daten mit langfristigen Abhängigkeiten übertrumpfen. Der gesamte Code und die Daten sind unter https://github.com/mlech26l/ode-lstms verfügbar.