HyperAIHyperAI

Command Palette

Search for a command to run...

Neuronale rauhe Differentialgleichungen für lange Zeitreihen

James Morrill Cristopher Salvi Patrick Kidger James Foster Terry Lyons

Zusammenfassung

Neuronale kontinuierliche Differentialgleichungen (Neural CDEs) stellen die kontinuierliche Zeitvariante rekurrenter neuronaler Netze dar, analog wie Neuronale ODEs zu Residualnetzen stehen, und bieten eine speichereffiziente, kontinuierliche Methode zur Modellierung von Funktionen potenziell unregelmäßiger Zeitreihen. Bestehende Verfahren zur Berechnung des Vorwärtsdurchlaufs einer Neural CDE beinhalten die Einbettung der eintreffenden Zeitreihe in den Pfadaum, häufig mittels Interpolation, und die Nutzung von Auswertungen dieses Pfades zur Steuerung des versteckten Zustands. In diesem Beitrag erweitern wir diese Formulierung mithilfe der Theorie der rauen Pfade. Anstelle der direkten Einbettung in den Pfadaum repräsentieren wir das Eingangssignal über kleine Zeitintervalle durch seine sogenannten \textit{Log-Signaturen}, welche Statistiken darstellen, die beschreiben, wie das Signal eine CDE beeinflusst. Dies ist der Ansatz zur Lösung von \textit{rauen Differentialgleichungen} (RDEs), und entsprechend beschreiben wir unseren zentralen Beitrag als die Einführung von Neural RDEs. Diese Erweiterung verfolgt ein Ziel: Indem wir den Ansatz der Neural CDEs auf eine breitere Klasse von treibenden Signalen verallgemeinern, zeigen wir spezifische Vorteile bei der Behandlung langer Zeitreihen. In diesem Regime demonstrieren wir eine hohe Effizienz bei Problemen mit bis zu 17.000 Beobachtungen und beobachten signifikante Beschleunigungen beim Training, verbesserte Modellleistung sowie reduzierten Speicherverbrauch im Vergleich zu bestehenden Ansätzen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Neuronale rauhe Differentialgleichungen für lange Zeitreihen | Paper | HyperAI