DualGAN: Unüberwachtes duales Lernen für die Bild-zu-Bild-Übersetzung

Bedingte Generative Adversarische Netze (GANs) für die cross-domain Bild-zu-Bild-Übersetzung haben in letzter Zeit große Fortschritte gemacht. Je nach Aufgabenkomplexität werden Tausende bis Millionen von beschrifteten Bildpaaren benötigt, um ein bedingtes GAN zu trainieren. Allerdings ist die manuelle Beschriftung teuer und oft sogar nicht praktikabel, und große Datenmengen sind nicht immer verfügbar. Inspiriert durch das duale Lernen aus der natürlichsprachlichen Übersetzung haben wir einen neuen Dual-GAN-Mechanismus entwickelt, der es ermöglicht, Bildübersetzer anhand zweier Mengen unbeschrifteter Bilder aus zwei Domänen zu trainieren. In unserer Architektur lernt das primäre GAN, Bilder von Domäne U in jene von Domäne V zu übersetzen, während das duale GAN die Aufgabe invers löst. Der durch das primäre und duale Training geschlossene Kreis ermöglicht es, Bilder aus jeder Domäne zu übersetzen und dann wiederherzustellen. Daher kann eine Verlustfunktion verwendet werden, die den Rekonstruktionsfehler der Bilder berücksichtigt, um die Übersetzer zu trainieren. Experimente mit mehreren BildübersetzungsAufgaben unter Verwendung unbeschrifteter Daten zeigen erhebliche Leistungsverbesserungen des DualGAN im Vergleich zu einem einzelnen GAN. Für einige Aufgaben kann DualGAN sogar vergleichbare oder leicht bessere Ergebnisse als ein bedingtes GAN erzielen, das auf vollständig beschrifteten Daten trainiert wurde.