HyperAIHyperAI

Command Palette

Search for a command to run...

Wie man sein neuronales ODE trainiert: Die Welt des Jakobischen und der kinetischen Regularisierung

Chris Finlay Jörn-Henrik Jacobsen Levon Nurbekyan Adam M Oberman

Zusammenfassung

Die Schulung von neuronalen ODEs auf großen Datensätzen war bisher aufgrund der Notwendigkeit, den adaptiven numerischen ODE-Löser dazu zu bringen, seine Schrittweite auf sehr kleine Werte zu verfeinern, nicht praktikabel. In der Praxis führt dies zu Dynamiken, die äquivalent sind wie Hunderte oder sogar Tausende von Schichten. In diesem Artikel überwinden wir diese scheinbare Schwierigkeit, indem wir eine theoretisch fundierte Kombination aus optimaler Transport- und Stabilitätsregularisierung einführen, die neuronale ODEs dazu anregt, einfachere Dynamiken vorzuziehen, unter allen Dynamiken, die ein Problem gut lösen. Einfachere Dynamiken führen zu schnellerer Konvergenz und zu einer geringeren Anzahl von Diskretisierungen durch den Löser, wodurch die Wanduhrzeit erheblich sinkt, ohne dass die Leistungseinbuße entsteht. Unser Ansatz ermöglicht es uns, generative Modelle basierend auf neuronalen ODEs auf dieselbe Leistung wie bei unregularisierten Dynamiken zu trainieren, wobei sich die Trainingszeit signifikant reduziert. Dadurch rücken neuronale ODEs in großskaligen Anwendungen näher an praktische Relevanz heran.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp