HyperAIHyperAI
il y a 2 mois

FFJORD : Dynamiques continues à forme libre pour les modèles génératifs réversibles à grande échelle

Will Grathwohl; Ricky T. Q. Chen; Jesse Bettencourt; Ilya Sutskever; David Duvenaud
FFJORD : Dynamiques continues à forme libre pour les modèles génératifs réversibles à grande échelle
Résumé

Une classe prometteuse de modèles génératifs mappe des points d'une distribution simple à une distribution complexe à travers un réseau neuronal inversible. L'entraînement basé sur la vraisemblance de ces modèles nécessite de restreindre leurs architectures pour permettre un calcul peu coûteux des déterminants jacobien. En alternative, la trace jacobienne peut être utilisée si la transformation est définie par une équation différentielle ordinaire. Dans cet article, nous utilisons l'estimateur de trace de Hutchinson pour fournir une estimation sans biais et évolutivement scalable du logarithme de la densité. Le résultat est un modèle génératif continu et inversible avec une estimation sans biais de la densité et un échantillonnage en un seul passage, tout en autorisant des architectures de réseaux neuronaux non restreintes. Nous démontrons notre approche sur l'estimation de densités en haute dimension, la génération d'images et l'inférence variationnelle, atteignant l'état de l'art parmi les méthodes basées sur la vraisemblance exacte avec un échantillonnage efficace.