HyperAIHyperAI

Command Palette

Search for a command to run...

StyleFlow pour la traduction d’image à image à contenu fixe

Weichen Fan Jinghuan Chen Jiabin Ma Jun Hou Shuai Yi

Résumé

La traduction image à image (I2I) constitue un défi majeur en vision par ordinateur. Nous décomposons ce problème en trois tâches : la traduction fortement contrainte, la traduction normalement contrainte et la traduction faiblement contrainte. La contrainte fait ici référence au degré de préservation de l’information sémantique ou du contenu de l’image d’origine. Bien que les approches antérieures aient obtenu de bons résultats sur les tâches faiblement contraintes, elles échouent à préserver pleinement le contenu dans les tâches fortement et normalement contraintes, telles que la synthèse photo-réaliste, le transfert de style ou la colorisation. Pour assurer une traduction préservant le contenu dans les tâches fortement et normalement contraintes, nous proposons StyleFlow, un nouveau modèle de traduction image à image basé sur des flows de normalisation et un module innovant appelé Normalisation Sensible au Style (SAN). Grâce à sa structure de réseau inversible, StyleFlow projette d’abord les images d’entrée dans un espace de caractéristiques profondes lors du passage avant, tandis que le passage arrière utilise le module SAN pour effectuer une transformation de caractéristiques fixant le contenu, avant de projeter à nouveau dans l’espace image. Notre modèle prend en charge à la fois la traduction guidée par image et la synthèse multi-modale. Nous évaluons notre modèle sur plusieurs benchmarks de traduction image à image, et les résultats montrent que le modèle proposé présente un avantage par rapport aux méthodes antérieures, tant dans les tâches fortement contraintes que normalement contraintes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp