Apprentissage de correspondance interdomaine pour la traduction d’images basée sur des exemples

Nous présentons un cadre général pour la traduction d’images fondée sur des exemples, qui permet de synthétiser une image réaliste à partir d’un input provenant d’un domaine distinct (par exemple, une carte d’assignation sémantique, une carte de contours ou des points-clés de posture), en se basant sur une image exemple. La sortie conserve le style (par exemple, couleur, texture) des objets sémantiquement correspondants présents dans l’image exemple. Nous proposons d’apprendre conjointement la correspondance entre domaines et la traduction d’images, deux tâches qui s’entraident mutuellement et peuvent donc être apprises sous une supervision faible. Les images provenant de domaines différents sont d’abord alignées vers un domaine intermédiaire, où une correspondance dense est établie. Ensuite, le réseau synthétise les images en s’appuyant sur l’apparence des patches sémantiquement correspondants présents dans l’image exemple. Nous démontrons l’efficacité de notre approche sur plusieurs tâches de traduction d’images. Notre méthode surpasser de manière significative les méthodes de pointe en termes de qualité d’image, tout en préservant fidèlement le style de l’image exemple avec une cohérence sémantique. En outre, nous illustrons l’utilité de notre méthode pour diverses applications.