Sequenzielle Modelle wie rekurrente Neuronale Netze und neuronale gewöhnliche Differentialgleichungen litten lange Zeit unter langsamen Trainingszeiten aufgrund ihrer inhärent sequenziellen Struktur. Jahrzehntelang blieb dieses Engpassproblem bestehen, da viele vermuteten, dass sequenzielle Modelle nicht parallelisiert werden könnten. Wir widerlegen diese lang etablierte Annahme mit unserem parallelen Algorithmus, der die GPU-Auswertung sequenzieller Modelle bis zu drei Größenordnungen beschleunigt, ohne die Genauigkeit der Ausgabe zu beeinträchtigen. Der Algorithmus erfordert keine spezielle Struktur in der Architektur der sequenziellen Modelle und ist daher auf eine breite Palette von Architekturen anwendbar. Mit unserer Methode lässt sich das Training sequenzieller Modelle mehr als zehnfach schneller durchführen als mit der üblichen sequenziellen Methode, wobei die Trainingsergebnisse sich praktisch nicht unterscheiden. Durch die Überwindung dieses Trainingsengpasses konnten wir die Wirksamkeit der Gated Recurrent Unit bei einer Klassifikationsaufgabe für lange Zeitreihen mit 17.000 Zeitstichproben nachweisen. Indem wir das Trainingshindernis beseitigen, legen wir mit unserer Arbeit den ersten Schritt zur Erschließung des Potenzials nichtlinearer sequenzieller Modelle für Probleme mit langen Sequenzen.