HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage de GANs réconfigurables en termes de disposition et de style pour la synthèse d'images contrôlable

Wei Sun Tianfu Wu

Résumé

Avec les remarquables progrès récents dans l'apprentissage des modèles génératifs profonds, il devient de plus en plus intéressant de développer des modèles pour la synthèse d'images contrôlable à partir d'entrées reconfigurables. Cet article se concentre sur une tâche récemment émergente, la transformation de mise en page en image (layout-to-image), visant à apprendre des modèles génératifs capables de synthétiser des images photoréalistes à partir d'une mise en page spatiale (c'est-à-dire des boîtes englobantes d'objets configurées dans une grille d'image) et d'un style (c'est-à-dire des variations structurelles et d'apparence encodées par des vecteurs latents).Cet article propose tout d'abord un paradigme intuitif pour cette tâche, la transformation de mise en page en masque en image (layout-to-mask-to-image), afin d'apprendre à déployer les masques d'objets des boîtes englobantes données dans une mise en page, ce qui permet de combler le fossé entre la mise en page d'entrée et les images synthétisées. Ensuite, cet article présente une méthode basée sur les Réseaux Antagonistes Génératifs (GANs) pour la transformation proposée de mise en page en masque en image avec un contrôle du style aux niveaux de l'image et du masque.Les masques d'objets sont appris à partir de la mise en page d'entrée et raffinés itérativement au fil des étapes dans le réseau générateur. Le contrôle du style au niveau de l'image est identique à celui des GANs classiques, tandis que le contrôle du style au niveau du masque d'objet est réalisé grâce à un nouveau schéma de normalisation des caractéristiques proposé, appelé Normalisation Sensible aux Instances et Consciente de la Mise en Page (Instance-Sensitive and Layout-Aware Normalization).Dans les expériences, la méthode proposée a été testée sur les jeux de données COCO-Stuff et Visual Genome, obtenant des performances parmi les meilleures actuellement disponibles.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Apprentissage de GANs réconfigurables en termes de disposition et de style pour la synthèse d'images contrôlable | Articles | HyperAI