HyperAIHyperAI

Command Palette

Search for a command to run...

Génération d'images centrées sur les objets à partir de dispositions

Tristan Sylvain Pengchuan Zhang Yoshua Bengio R Devon Hjelm Shikhar Sharma

Résumé

Malgré les résultats impressionnants récents en matière de génération d'images d'un seul objet ou d'un seul domaine, la génération de scènes complexes avec plusieurs objets reste un défi. Dans cet article, nous partons du principe qu'un modèle doit être capable de comprendre les objets individuels et leurs relations entre eux pour générer efficacement des scènes complexes. Notre méthode de génération d'images à partir de dispositions, que nous appelons Object-Centric Generative Adversarial Network (OC-GAN), repose sur un nouveau module de similarité de graphes de scène (Scene-Graph Similarity Module, SGSM). Le SGSM apprend des représentations des relations spatiales entre les objets dans la scène, ce qui améliore la fidélité au layout de notre modèle. Nous proposons également des modifications du mécanisme de conditionnement du générateur qui renforcent sa prise en compte des instances d'objets. Outre l'amélioration de la qualité des images, nos contributions atténuent deux modes d'échec observés dans les approches précédentes : (1) la génération d'objets parasites sans boîtes englobantes correspondantes dans le layout, et (2) des boîtes englobantes superposées dans le layout entraînant des objets fusionnés dans les images. Une évaluation quantitative extensive et des études abrégeantes démontrent l'impact de nos contributions, notre modèle surpassant les approches précédentes de pointe sur les jeux de données COCO-Stuff et Visual Genome. Enfin, nous abordons une limitation importante des métriques d'évaluation utilisées dans les travaux précédents en introduisant SceneFID -- une adaptation centrée sur l'objet de la métrique Fréchet Inception Distance (FID), mieux adaptée aux images multi-objets.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Génération d'images centrées sur les objets à partir de dispositions | Articles | HyperAI