Convolution localement masquée pour les modèles autorégressifs

Les modèles génératifs à haute dimension présentent de nombreuses applications, notamment la compression d’images, la génération multimédia, la détection d’anomalies et la complétion de données. Les estimateurs de pointe pour les images naturelles sont de type autoregressif : ils décomposent la distribution conjointe sur les pixels en un produit de distributions conditionnelles paramétrées par un réseau neuronal profond, par exemple un réseau neuronal convolutif tel que PixelCNN. Toutefois, les PixelCNN ne modélisent qu’une seule décomposition de la distribution conjointe, et seule une seule ordre de génération est efficace. Pour des tâches telles que la complétion d’images, ces modèles ne peuvent exploiter qu’une partie limitée du contexte observé. Afin de générer des données selon des ordres arbitraires, nous introduisons LMConv : une modification simple de la convolution 2D standard qui permet d’appliquer des masques arbitraires aux poids à chaque position de l’image. Grâce à LMConv, nous apprenons un ensemble d’estimateurs de distribution partageant des paramètres mais différant par l’ordre de génération, ce qui conduit à une amélioration des performances en estimation de densité sur l’image entière (2,89 bits par pixel sur CIFAR10 sans condition) ainsi qu’à des complétions d’images globalement cohérentes. Notre code est disponible à l’adresse suivante : https://ajayjain.github.io/lmconv.