HyperAIHyperAI

Command Palette

Search for a command to run...

Il vous suffit de supervision adversaire pour la synthèse d’images sémantiques

Vadim Sushko Edgar Schönfeld Dan Zhang Juergen Gall Bernt Schiele Anna Khoreva

Résumé

Malgré leurs récents succès, les modèles GAN pour la synthèse d’images sémantiques souffrent encore d’une qualité d’image médiocre lorsqu’ils sont entraînés uniquement avec une supervision adversariale. Historiquement, l’ajout de la perte perceptuelle basée sur VGG a permis de surmonter ce problème, améliorant significativement la qualité de la synthèse, mais en même temps freinant l’évolution des modèles GAN pour la synthèse d’images sémantiques. Dans ce travail, nous proposons un nouveau modèle GAN simplifié, qui nécessite uniquement une supervision adversariale pour produire des résultats de haute qualité. Nous redéfinissons le discriminateur comme un réseau de segmentation sémantique, en utilisant directement les cartes d’étiquettes sémantiques fournies comme vérité terrain pour l’entraînement. En offrant une supervision renforcée au discriminateur ainsi qu’au générateur grâce à un retour d’information du discriminateur sensible à la spatialité et à la sémantique, nous parvenons à synthétiser des images de fidélité supérieure, mieux alignées sur leurs cartes d’étiquettes d’entrée, rendant ainsi la perte perceptuelle superflue. En outre, nous permettons une synthèse d’images multi-modales de haute qualité grâce à un échantillonnage global et local d’un tenseur bruit 3D injecté dans le générateur, ce qui permet des modifications complètes ou partielles de l’image. Nous montrons que les images synthétisées par notre modèle sont plus diversifiées et reproduisent plus fidèlement les distributions de couleur et de texture des images réelles. Nous obtenons une amélioration moyenne de 6 points de FID et de 5 points de mIoU par rapport à l’état de l’art sur différentes bases de données, en n’utilisant que la supervision adversariale.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp