MADE : Autoencodeur masqué pour l'estimation de distribution

Il y a récemment eu un grand intérêt pour la conception de modèles de réseau neuronal visant à estimer une distribution à partir d'un ensemble d'exemples. Nous présentons une modification simple des réseaux neuronaux autoencodeurs qui permet d'obtenir des modèles génératifs puissants. Notre méthode consiste à masquer les paramètres de l'autoencodeur pour respecter les contraintes autorégressives : chaque entrée est reconstruite uniquement à partir des entrées précédentes dans un ordre donné. Ainsi contraint, les sorties de l'autoencodeur peuvent être interprétées comme un ensemble de probabilités conditionnelles, et leur produit, la probabilité jointe complète. Nous pouvons également former un seul réseau capable de décomposer la probabilité jointe selon plusieurs ordres différents. Notre cadre simple peut être appliqué à plusieurs architectures, y compris celles profondes. Les implémentations vectorisées, telles que sur GPU, sont simples et rapides. Les expériences montrent que cette approche est compétitive avec les estimateurs de distribution tractables les plus avancés. Lors des tests, la méthode est significativement plus rapide et s'échelonne mieux que d'autres estimateurs autorégressifs.