In2I : Traduction non supervisée d'images multiples à l'aide de réseaux adverses génératifs

Dans le domaine de la traduction d'image à image non supervisée, l'objectif est d'apprendre une correspondance entre une image d'entrée et une image de sortie en utilisant un ensemble d'images d'entraînement non appariées. Dans cet article, nous proposons une extension du problème de traduction d'image à image non supervisée à un cadre avec plusieurs entrées. Étant donné un ensemble d'images appariées provenant de plusieurs modalités, une transformation est apprise pour traduire l'entrée dans un domaine spécifié. À cette fin, nous introduisons un cadre basé sur les Réseaux Antagonistes Générateurs (GAN) accompagné d'une structure de générateur multi-modale et d'un nouveau terme de perte, appelé perte de cohérence latente (latent consistency loss). À travers diverses expériences, nous démontrons que l'utilisation de plusieurs entrées améliore généralement la qualité visuelle des images traduites. De plus, nous montrons que la méthode proposée surpasses les méthodes actuelles les plus avancées en matière de traduction d'image à image non supervisée.