HyperAIHyperAI

Command Palette

Search for a command to run...

Amélioration de la synthèse d’images à partir de texte en utilisant l’apprentissage contrastif

Hui Ye Xiulong Yang Martin Takac Rajshekhar Sunderraman Shihao Ji

Résumé

L'objectif de la synthèse d'images à partir de texte est de générer une image visuellement réaliste correspondant à une description textuelle donnée. En pratique, les légendes annotées par des humains pour une même image présentent une grande variabilité en termes de contenu et de choix lexical. Cette discordance linguistique entre les légendes associées à une même image entraîne une déviation des images synthétisées par rapport à la vérité terrain. Pour résoudre ce problème, nous proposons une approche fondée sur l'apprentissage contrastif afin d'améliorer la qualité des images synthétisées et d'en renforcer la cohérence sémantique. Lors de la phase de pré-entraînement, nous utilisons cette méthode d'apprentissage contrastif pour apprendre des représentations textuelles cohérentes pour les légendes associées à une même image. Par la suite, pendant l'entraînement des réseaux antagonistes génératifs (GAN), nous appliquons la même méthode d'apprentissage contrastif afin d'améliorer la cohérence entre les images générées à partir de légendes liées à la même image. Nous évaluons notre approche sur deux modèles populaires de synthèse d'images à partir de texte, AttnGAN et DM-GAN, respectivement sur les jeux de données CUB et COCO. Les résultats expérimentaux démontrent que notre méthode permet d'améliorer efficacement la qualité des images synthétisées selon trois métriques : IS, FID et R-precision. En particulier, sur le jeu de données exigeant, COCO, notre approche améliore significativement la métrique FID de 29,60 % par rapport à AttnGAN et de 21,96 % par rapport à DM-GAN.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp