MIGS: Meta-Bild-Generierung aus Szenen-Graphen

Die Generierung von Bildern aus Szenengraphen ist eine vielversprechende Richtung zur expliziten Erzeugung und Manipulation von Szenen. Allerdings fehlen den aus Szenengraphen generierten Bildern die erforderliche Qualität, was teilweise auf die hohe Schwierigkeit und Vielfalt der Daten zurückzuführen ist. Wir schlagen MIGS (Meta Image Generation from Scene Graphs) vor, einen auf Meta-Lernen basierenden Ansatz für die Few-Shot-Bildgenerierung aus Graphen, der es ermöglicht, das Modell an verschiedene Szenen anzupassen und die Bildqualität durch das Training auf diversen Aufgabenmengen zu verbessern. Durch eine datengetriebene Stichprobenziehung trainieren wir den Generator mit Meta-Lernen auf verschiedenen Aufgabensätzen, die nach den Szeneneigenschaften kategorisiert sind. Unsere Ergebnisse zeigen, dass die Verwendung dieses Meta-Lernansatzes für die Generierung von Bildern aus Szenengraphen sowohl hinsichtlich der Bildqualität als auch der Erfassung semantischer Beziehungen in der Szene den Stand der Technik übertreffen kann.Projektwebsite: https://migs2021.github.io/