HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 14 jours

Générer une image à partir de 1 000 mots : améliorer la génération d'images à partir de textes grâce à des légendes structurées

Générer une image à partir de 1 000 mots : améliorer la génération d'images à partir de textes grâce à des légendes structurées

Résumé

Les modèles de génération d’images à partir de texte ont évolué en peu de temps, passant de simples outils créatifs à des systèmes de qualité professionnelle, atteignant des niveaux inédits de qualité et de réalisme visuel. Pourtant, la plupart de ces modèles sont entraînés pour convertir des prompts courts en images détaillées, ce qui crée un écart entre une entrée textuelle sommaire et une sortie visuelle riche. Ce décalage réduit la maîtrise du processus, car les modèles remplissent arbitrairement les détails manquants, s’alignant ainsi sur des préférences moyennes des utilisateurs et limitant ainsi la précision dans un contexte professionnel. Nous remédions à cette limitation en entraînant le premier modèle open-source de génération d’images à partir de texte sur des légendes structurées longues, où chaque échantillon d’entraînement est annoté avec un même ensemble d’attributs fins. Ce design maximise la couverture expressive et permet un contrôle déconnecté des différents facteurs visuels. Pour traiter efficacement les légendes longues, nous proposons DimFusion, un mécanisme de fusion qui intègre les jetons intermédiaires d’un petit modèle de langage (LLM léger) sans allonger la longueur des jetons. Nous introduisons également le protocole d’évaluation Text-as-a-Bottleneck Reconstruction (TaBR). En évaluant la capacité à reconstruire fidèlement des images réelles à travers une boucle de description-génération, TaBR mesure directement la maîtrise et l’expressivité, même pour des légendes très longues, là où les méthodes d’évaluation existantes échouent. Enfin, nous démontrons l’efficacité de nos contributions en entraînant le modèle à grande échelle FIBO, qui atteint un niveau d’alignement avec les prompts inégalé parmi les modèles open-source. Les poids du modèle sont disponibles publiquement sur : https://huggingface.co/briaai/FIBO

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Générer une image à partir de 1 000 mots : améliorer la génération d'images à partir de textes grâce à des légendes structurées | Articles de recherche | HyperAI