HyperAIHyperAI

Command Palette

Search for a command to run...

MADE : Autoencodeur masqué pour l'estimation de distribution

Mathieu Germain; Karol Gregor; Iain Murray; Hugo Larochelle

Résumé

Il y a récemment eu un grand intérêt pour la conception de modèles de réseau neuronal visant à estimer une distribution à partir d'un ensemble d'exemples. Nous présentons une modification simple des réseaux neuronaux autoencodeurs qui permet d'obtenir des modèles génératifs puissants. Notre méthode consiste à masquer les paramètres de l'autoencodeur pour respecter les contraintes autorégressives : chaque entrée est reconstruite uniquement à partir des entrées précédentes dans un ordre donné. Ainsi contraint, les sorties de l'autoencodeur peuvent être interprétées comme un ensemble de probabilités conditionnelles, et leur produit, la probabilité jointe complète. Nous pouvons également former un seul réseau capable de décomposer la probabilité jointe selon plusieurs ordres différents. Notre cadre simple peut être appliqué à plusieurs architectures, y compris celles profondes. Les implémentations vectorisées, telles que sur GPU, sont simples et rapides. Les expériences montrent que cette approche est compétitive avec les estimateurs de distribution tractables les plus avancés. Lors des tests, la méthode est significativement plus rapide et s'échelonne mieux que d'autres estimateurs autorégressifs.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp