MIGS : Génération d'Images Métiers à partir de Graphes de Scène

La génération d'images à partir de graphes de scènes est une direction prometteuse vers la génération et la manipulation explicites des scènes. Cependant, les images générées à partir des graphes de scènes manquent de qualité, ce qui est en partie dû à la grande difficulté et à la diversité des données. Nous proposons MIGS (Meta Image Generation from Scene Graphs) [Génération d'Images Métaprédictive à Partir de Graphes de Scènes], une approche basée sur l'apprentissage métacognitif pour la génération d'images à partir de graphes avec peu d'exemples, permettant d'adapter le modèle à différentes scènes et d'améliorer la qualité des images en formant le modèle sur un ensemble diversifié de tâches. En échantillonnant les données selon une approche orientée par les tâches, nous formons le générateur en utilisant l'apprentissage métacognitif sur différents ensembles de tâches catégorisés en fonction des attributs de la scène. Nos résultats montrent que l'utilisation de cette approche d'apprentissage métacognitif pour la génération d'images à partir de graphes de scènes atteint des performances de pointe en termes de qualité des images et de capture des relations sémantiques dans la scène. Site web du projet : https://migs2021.github.io/