HyperAIHyperAI

Command Palette

Search for a command to run...

Génération de scènes à bottleneck sémantique

Samaneh Azadi Michael Tschannen Eric Tzeng Sylvain Gelly Trevor Darrell Mario Lucic

Résumé

En combinant les capacités de génération haute fidélité des méthodes de synthèse d’images conditionnelles par étiquettes avec la flexibilité des modèles génératifs non conditionnels, nous proposons un modèle GAN à goulot d’étranglement sémantique pour la synthèse non conditionnelle de scènes complexes. Nous supposons que des étiquettes de segmentation par pixel sont disponibles durant l’entraînement, et nous les utilisons pour apprendre la structure de la scène. Lors de l’inférence, notre modèle synthétise d’abord une disposition de segmentation réaliste à partir de zéro, puis génère une scène réaliste conditionnellement à cette disposition. Pour la première étape, nous utilisons un réseau progressif de génération de segmentation non conditionnel, capable de capturer la distribution des dispositions sémantiques réalistes. Pour la seconde, nous employons un réseau de synthèse image à partir de segmentation conditionnel, qui modélise la distribution des images photoréalistes conditionnelles à une disposition sémantique donnée. Lorsqu’entraîné de manière end-to-end, le modèle obtenu surpasse les modèles génératifs d’état de l’art en synthèse d’images non supervisée sur deux domaines exigeants, selon les évaluations basées sur la distance de Fréchet Inception et des études utilisateurs. En outre, nous démontrons que les cartes de segmentation générées peuvent servir de données d’entraînement supplémentaires afin d’améliorer significativement les récents réseaux de synthèse image à partir de segmentation.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Génération de scènes à bottleneck sémantique | Articles | HyperAI