HyperAIHyperAI

Command Palette

Search for a command to run...

Semi-Amortized Variational Autoencoders

Yoon Kim Sam Wiseman Andrew C. Miller David Sontag Alexander M. Rush

Résumé

L'inférence variationnelle amortie (AVA) remplace l'inférence locale spécifique à chaque instance par un réseau d'inférence global. Bien que l'AVA ait permis une formation efficace de modèles génératifs profonds tels que les auto-encodeurs variationnels (VAE), des travaux empiriques récents suggèrent que les réseaux d'inférence peuvent produire des paramètres variationnels sous-optimaux. Nous proposons une approche hybride, consistant à utiliser l'AVA pour initialiser les paramètres variationnels et à exécuter l'inférence variationnelle stochastique (IVS) pour les affiner. De manière cruciale, la procédure IVS locale est elle-même différentiable, ce qui permet une formation bout à bout du réseau d'inférence et du modèle génératif grâce à une optimisation basée sur les gradients. Cette approche semi-amortie permet l'utilisation de modèles génératifs riches sans subir le phénomène de collapse postérieur courant lors de la formation des VAE pour des problèmes comme la génération de texte. Les expériences montrent que cette approche surpasse des baselines autorégressives et variationnelles solides sur des ensembles de données textuelles et visuelles standards.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp