StyleFlow pour la traduction d’image à image à contenu fixe

La traduction image à image (I2I) constitue un défi majeur en vision par ordinateur. Nous décomposons ce problème en trois tâches : la traduction fortement contrainte, la traduction normalement contrainte et la traduction faiblement contrainte. La contrainte fait ici référence au degré de préservation de l’information sémantique ou du contenu de l’image d’origine. Bien que les approches antérieures aient obtenu de bons résultats sur les tâches faiblement contraintes, elles échouent à préserver pleinement le contenu dans les tâches fortement et normalement contraintes, telles que la synthèse photo-réaliste, le transfert de style ou la colorisation. Pour assurer une traduction préservant le contenu dans les tâches fortement et normalement contraintes, nous proposons StyleFlow, un nouveau modèle de traduction image à image basé sur des flows de normalisation et un module innovant appelé Normalisation Sensible au Style (SAN). Grâce à sa structure de réseau inversible, StyleFlow projette d’abord les images d’entrée dans un espace de caractéristiques profondes lors du passage avant, tandis que le passage arrière utilise le module SAN pour effectuer une transformation de caractéristiques fixant le contenu, avant de projeter à nouveau dans l’espace image. Notre modèle prend en charge à la fois la traduction guidée par image et la synthèse multi-modale. Nous évaluons notre modèle sur plusieurs benchmarks de traduction image à image, et les résultats montrent que le modèle proposé présente un avantage par rapport aux méthodes antérieures, tant dans les tâches fortement contraintes que normalement contraintes.