GENESIS : Inférence et Échantillonnage de Scènes Génératives avec des Représentations Latentes Centrées sur les Objets

Les modèles génératifs à variables latentes émergent comme des outils prometteurs dans le domaine de la robotique et de l'apprentissage par renforcement. Cependant, même si les tâches dans ces domaines impliquent généralement des objets distincts, la plupart des modèles génératifs de pointe ne capturent pas explicitement la nature compositionnelle des scènes visuelles. Deux exceptions récentes, MONet et IODINE, décomposent les scènes en objets de manière non supervisée. Leurs processus génératifs sous-jacents, cependant, ne prennent pas en compte les interactions entre les composants. Par conséquent, aucun d'eux ne permet un échantillonnage principié de nouvelles scènes. Nous présentons ici GENESIS, le premier modèle génératif centré sur les objets capable de décomposer et générer des scènes 3D en capturant les relations entre les composants de la scène. GENESIS paramètre un mélange gaussien multidimensionnel (GMM) spatial sur les images, qui est décrypté à partir d'un ensemble de variables latentes centrées sur les objets, inférées soit séquentiellement de manière amortie, soit échantillonnées à partir d'une loi a priori autorégressive. Nous entraînons GENESIS sur plusieurs jeux de données publiquement disponibles et évaluons ses performances en termes de génération de scènes, décomposition et apprentissage semi-supervisé.