Traduction d’image à image guidée avec transformation de caractéristiques bidirectionnelle

Nous abordons le problème de la translation d’image en image guidée, dans lequel une image d’entrée est transformée en une autre image tout en respectant les contraintes fournies par une image de guidance externe, fournie par l’utilisateur. Différentes méthodes de conditionnement visant à exploiter l’image de guidance ont été explorées, notamment la concaténation en entrée, la concaténation en features et la transformation affine conditionnelle des activations de features. Toutefois, toutes ces mécaniques de conditionnement sont unidirectionnelles, c’est-à-dire qu’aucun flux d’information ne s’effectue de l’image d’entrée vers l’image de guidance. Afin d’utiliser de manière plus efficace les contraintes imposées par l’image de guidance, nous proposons une méthode de transformation bidirectionnelle des features (bFT). Nous démontrons que notre approche bFT surpasse les autres schémas de conditionnement et atteint des résultats comparables aux méthodes de pointe sur diverses tâches.