In2I: Unüberwachte Mehrbild-zu-Bild-Übersetzung mit Generativen Wettbewerbsnetzen

Im Bereich der überwachten Bild-zu-Bild-Übersetzung besteht das Ziel darin, die Abbildung zwischen einem Eingangsbild und einem Ausgangsbild zu lernen, indem ein Satz nicht gepaarter Trainingsbilder verwendet wird. In dieser Arbeit schlagen wir eine Erweiterung des Problems der überwachten Bild-zu-Bild-Übersetzung für mehrere Eingaben vor. Gegeben ist ein Satz von gepaarten Bildern aus mehreren Modalitäten, wobei eine Transformation gelernt wird, um die Eingänge in einen spezifischen Bereich zu übersetzen. Zu diesem Zweck führen wir ein auf Generativen Wettbewerbsnetzen (Generative Adversarial Networks, GANs) basierendes Framework ein, das eine mehrmodale Generatorstruktur und einen neuen Verlustterm, den latente Konsistenzverlust (latent consistency loss), umfasst. Durch verschiedene Experimente zeigen wir, dass die Nutzung mehrerer Eingaben im Allgemeinen die visuelle Qualität der übersetzten Bilder verbessert. Darüber hinaus demonstrieren wir, dass die vorgeschlagene Methode den aktuellen Stand der Technik in der überwachten Bild-zu-Bild-Übersetzung übertrifft.