HyperAIHyperAI

Command Palette

Search for a command to run...

BoxDiff : Synthèse d'images à partir de texte avec diffusion contrainte par des boîtes sans entraînement

Jinheng Xie Yuexiang Li Yawen Huang Haozhe Liu Wentian Zhang Yefeng Zheng Mike Zheng Shou

Résumé

Les modèles de diffusion récents basés sur le texte pour générer des images ont démontré une capacité étonnante à produire des images de haute qualité. Cependant, les chercheurs se sont principalement concentrés sur la synthèse d'images à partir de seules instructions textuelles. Bien que certains travaux aient exploré l'utilisation d'autres modalités comme conditions, ils nécessitent des données appariées considérables, par exemple des paires boîte/masque-image, ainsi que du temps de réglage fin (fine-tuning). Étant donné que l'acquisition de telles données appariées est chronophage et exige beaucoup de travail, et qu'elle est limitée à un ensemble fermé, cela peut potentiellement devenir une bouteille d'étranglement pour les applications dans un monde ouvert. Cet article se concentre sur la forme la plus simple des conditions fournies par l'utilisateur, par exemple des boîtes ou des griffonnages. Pour atténuer le problème mentionné précédemment, nous proposons une méthode sans apprentissage pour contrôler les objets et les contextes dans les images synthétisées en respectant les conditions spatiales données. Plus précisément, trois contraintes spatiales ont été conçues : Inner-Box (boîte interne), Outer-Box (boîte externe) et Corner Constraints (contraintes d'angle), qui sont intégrées de manière fluide dans l'étape de débruitage des modèles de diffusion, sans nécessiter d'apprentissage supplémentaire ni de vastes quantités de données annotées.Des résultats expérimentaux étendus montrent que les contraintes proposées peuvent contrôler ce qui doit être présenté et où dans les images tout en conservant la capacité des modèles de diffusion à synthétiser avec une fidélité élevée et une couverture conceptuelle diversifiée. Le code source est disponible publiquement sur https://github.com/showlab/BoxDiff.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp