Traduction image à image avec conditionnement à faible résolution

La plupart des méthodes de traduction image-par-image se concentrent sur l’apprentissage de mappings entre des domaines en supposant que les images partagent un contenu commun (par exemple, une posture), tout en possédant des informations spécifiques au domaine, appelées style. Lorsqu’elles sont conditionnées par une image cible, ces méthodes visent à extraire le style de cette dernière et à le combiner avec le contenu de l’image source. Dans ce travail, nous considérons le cas où l’image cible présente une résolution très faible. Plus précisément, notre approche vise à transférer les détails fins d’une image source haute résolution (HR) afin de s’adapter à une représentation cible de faible résolution (LR), de type grossier. Par conséquent, nous générons des images haute résolution qui partagent des caractéristiques provenant à la fois des entrées HR et LR. Cette approche diffère des méthodes antérieures, qui se concentrent sur la translation d’un style d’image donné vers un contenu cible ; notre méthode permet quant à elle d’imiter simultanément le style et de fusionner les informations structurelles de l’image cible à faible résolution. Notre méthode repose sur l’entraînement d’un modèle génératif pour produire des images cibles haute résolution qui satisfont à la fois à : 1) conserver des informations distinctives de l’image source associée ; 2) correspondre correctement à l’image cible à faible résolution après redimensionnement. Nous validons notre méthode sur les jeux de données CelebA-HQ et AFHQ, en démontrant des améliorations en termes de qualité visuelle, de diversité et de couverture. Les résultats qualitatifs et quantitatifs montrent que, dans le cadre de la traduction d’images intra-domaine, notre méthode génère des échantillons plus réalistes que les méthodes de pointe actuelles, telles que Stargan-v2.