Neuronale rauhe Differentialgleichungen für lange Zeitreihen

Neuronale kontinuierliche Differentialgleichungen (Neural CDEs) stellen die kontinuierliche Zeitvariante rekurrenter neuronaler Netze dar, analog wie Neuronale ODEs zu Residualnetzen stehen, und bieten eine speichereffiziente, kontinuierliche Methode zur Modellierung von Funktionen potenziell unregelmäßiger Zeitreihen. Bestehende Verfahren zur Berechnung des Vorwärtsdurchlaufs einer Neural CDE beinhalten die Einbettung der eintreffenden Zeitreihe in den Pfadaum, häufig mittels Interpolation, und die Nutzung von Auswertungen dieses Pfades zur Steuerung des versteckten Zustands. In diesem Beitrag erweitern wir diese Formulierung mithilfe der Theorie der rauen Pfade. Anstelle der direkten Einbettung in den Pfadaum repräsentieren wir das Eingangssignal über kleine Zeitintervalle durch seine sogenannten \textit{Log-Signaturen}, welche Statistiken darstellen, die beschreiben, wie das Signal eine CDE beeinflusst. Dies ist der Ansatz zur Lösung von \textit{rauen Differentialgleichungen} (RDEs), und entsprechend beschreiben wir unseren zentralen Beitrag als die Einführung von Neural RDEs. Diese Erweiterung verfolgt ein Ziel: Indem wir den Ansatz der Neural CDEs auf eine breitere Klasse von treibenden Signalen verallgemeinern, zeigen wir spezifische Vorteile bei der Behandlung langer Zeitreihen. In diesem Regime demonstrieren wir eine hohe Effizienz bei Problemen mit bis zu 17.000 Beobachtungen und beobachten signifikante Beschleunigungen beim Training, verbesserte Modellleistung sowie reduzierten Speicherverbrauch im Vergleich zu bestehenden Ansätzen.