Estimation de densité autorégressive multirésolution parallèle

Le PixelCNN obtient des résultats de pointe en estimation de densité pour les images naturelles. Bien que l'entraînement soit rapide, l'inférence est coûteuse, nécessitant une évaluation du réseau par pixel ; O(N) pour N pixels. Cela peut être accéléré en mettant en cache les activations, mais implique toujours la génération séquentielle de chaque pixel. Dans ce travail, nous proposons un PixelCNN parallélisé qui permet une inférence plus efficace en modélisant certains groupes de pixels comme conditionnellement indépendants. Notre nouveau modèle PixelCNN atteint une estimation de densité compétitive et un accélération d'ordres de grandeur - échantillonnage O(log N) au lieu de O(N) - rendant possible la génération pratique d'images de 512x512 pixels. Nous évaluons le modèle sur la génération d'images conditionnelle à la classe, la synthèse texte-image et la génération vidéo conditionnelle à l'action, montrant que notre modèle obtient les meilleurs résultats parmi les modèles d'estimation de densité non autoregressifs qui permettent un échantillonnage efficace.