Cross-domain Correspondence Learning für exemplarbasierte Bildtranslation

Wir präsentieren einen allgemeinen Rahmen für exemplarbasierte Bildübersetzung, der ein foto-realistisches Bild aus einer Eingabe in einem unterschiedlichen Domänenraum (z. B. semantischer Segmentierungs-Maske, Kantenkarte oder Gelenkpunkten) unter Verwendung eines exemplarischen Bildes synthetisiert. Das resultierende Bild weist einen Stil (z. B. Farbe, Textur) auf, der mit den semantisch entsprechenden Objekten im exemplarischen Bild konsistent ist. Wir schlagen vor, die Kreuzdomänen-Entsprechung und die Bildübersetzung gemeinsam zu lernen, wobei beide Aufgaben sich gegenseitig unterstützen und somit mit schwacher Aufsicht erlernt werden können. Zunächst werden Bilder aus verschiedenen Domänen in eine intermediäre Domäne aligniert, in der eine dichte Entsprechung hergestellt wird. Anschließend synthetisiert das Netzwerk Bilder basierend auf dem Erscheinungsbild semantisch entsprechender Patche im exemplarischen Bild. Wir zeigen die Wirksamkeit unseres Ansatzes an mehreren Bildübersetzungs-Aufgaben. Unser Verfahren übertrifft die derzeit besten Methoden hinsichtlich der Bildqualität erheblich und gewährleistet dabei einen Stil, der dem exemplarischen Bild entspricht und semantisch konsistent ist. Darüber hinaus demonstrieren wir die Anwendbarkeit unseres Ansatzes für verschiedene praktische Anwendungen.