Traduction d'images non appariées à l'aide de réseaux adverses cycliquement cohérents

La traduction d'image à image est une catégorie de problèmes en vision par ordinateur et en infographie où l'objectif est d'apprendre la correspondance entre une image d'entrée et une image de sortie à l'aide d'un ensemble de données d'entraînement composé de paires d'images alignées. Cependant, pour de nombreuses tâches, des données d'entraînement appariées ne seront pas disponibles. Nous présentons une approche permettant d'apprendre à traduire une image d'un domaine source (X) vers un domaine cible (Y) en l'absence d'exemples appariés. Notre but est d'apprendre une correspondance (G: X \rightarrow Y) telle que la distribution des images issues de (G(X)) soit indiscernable de la distribution (Y) grâce à une perte adversaire. Étant donné que cette correspondance est très sous-contrainte, nous la couplons avec une correspondance inverse (F: Y \rightarrow X) et introduisons une perte de cohérence cyclique pour pousser (F(G(X)) \approx X) (et vice versa). Des résultats qualitatifs sont présentés sur plusieurs tâches où les données d'entraînement appariées n'existent pas, notamment le transfert de style entre collections, la transfiguration d'objets, le transfert saisonnier, l'amélioration photographique, etc. Des comparaisons quantitatives avec plusieurs méthodes antérieures démontrent la supériorité de notre approche.