HyperAIHyperAI

Command Palette

Search for a command to run...

Comment entraîner votre ODE neuronale : le monde de la régularisation du jacobien et de la cinétique

Chris Finlay Jörn-Henrik Jacobsen Levon Nurbekyan Adam M Oberman

Résumé

L’entraînement des ODE neuronales sur de grands ensembles de données n’a pas été réalisable jusqu’à présent en raison de la nécessité de permettre à l’algorithme numérique adaptatif de résolution d’ODE d’ajuster sa taille de pas à des valeurs très faibles. En pratique, cela conduit à des dynamiques équivalentes à celles de plusieurs centaines, voire milliers de couches. Dans cet article, nous surmontons cette difficulté apparente en proposant une combinaison théoriquement fondée de régularisations issues du transport optimal et de la stabilité, qui encouragent les ODE neuronales à privilégier des dynamiques plus simples parmi toutes celles qui résolvent efficacement un problème. Des dynamiques plus simples entraînent une convergence plus rapide et un nombre réduit de discrétisations de l’algorithme de résolution, réduisant considérablement le temps de calcul réel (wall-clock time) sans perte de performance. Notre approche permet d’entraîner des modèles génératifs basés sur les ODE neuronales jusqu’à atteindre la même performance que les dynamiques non régularisées, tout en réduisant fortement le temps d’entraînement. Cela rapproche les ODE neuronales de leur application pratique à grande échelle.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp