GENESIS: Generative Scene Inference and Sampling with Object-Centric Latent Representations GENESIS: Generative Szeneinferenz und -sampling mit objektorientierten latente Darstellungen

Generative Latent-Variable-Modelle etablieren sich als vielversprechende Werkzeuge in der Robotik und dem Reinforcement Learning. Trotzdem fangen die meisten standesgemäßen generativen Modelle die kompositionelle Natur visueller Szenen nicht explizit ein, obwohl Aufgaben in diesen Bereichen in der Regel distinkte Objekte beinhalten. Zwei kürzlich vorgestellte Ausnahmen, MONet und IODINE, zerlegen Szenen auf unsupervisierte Weise in Objekte. Ihre zugrundeliegenden generativen Prozesse berücksichtigen jedoch keine Komponenteninteraktionen. Daher erlauben weder MONet noch IODINE ein prinzipielles Sampling neuer Szenen. Hier stellen wir GENESIS vor, das erste objektzentrierte generative Modell für 3D-visuelle Szenen, das sowohl die Zerlegung als auch die Generierung von Szenen durch Erfassung der Beziehungen zwischen Szenekomponenten ermöglicht. GENESIS parametrisiert eine räumliche GMM (Gaussian Mixture Model) über Bilder, die aus einer Reihe von objektzentrierten latente Variablen dekodiert wird, die entweder sequentiell in amortisierter Form inferiert oder aus einem autoregressiven Prior gesampelt werden. Wir trainieren GENESIS auf mehreren öffentlich verfügbaren Datensätzen und evaluieren seine Leistung bei der Szene-Generierung, -Zerlegung und semi-supervisierten Lernprozessen.