Wie man sein neuronales ODE trainiert: Die Welt des Jakobischen und der kinetischen Regularisierung

Die Schulung von neuronalen ODEs auf großen Datensätzen war bisher aufgrund der Notwendigkeit, den adaptiven numerischen ODE-Löser dazu zu bringen, seine Schrittweite auf sehr kleine Werte zu verfeinern, nicht praktikabel. In der Praxis führt dies zu Dynamiken, die äquivalent sind wie Hunderte oder sogar Tausende von Schichten. In diesem Artikel überwinden wir diese scheinbare Schwierigkeit, indem wir eine theoretisch fundierte Kombination aus optimaler Transport- und Stabilitätsregularisierung einführen, die neuronale ODEs dazu anregt, einfachere Dynamiken vorzuziehen, unter allen Dynamiken, die ein Problem gut lösen. Einfachere Dynamiken führen zu schnellerer Konvergenz und zu einer geringeren Anzahl von Diskretisierungen durch den Löser, wodurch die Wanduhrzeit erheblich sinkt, ohne dass die Leistungseinbuße entsteht. Unser Ansatz ermöglicht es uns, generative Modelle basierend auf neuronalen ODEs auf dieselbe Leistung wie bei unregularisierten Dynamiken zu trainieren, wobei sich die Trainingszeit signifikant reduziert. Dadurch rücken neuronale ODEs in großskaligen Anwendungen näher an praktische Relevanz heran.