Geführte Bild-zu-Bild-Übersetzung mit bidirektionaler Merkmalstransformation

Wir behandeln das Problem der gerichteten Bild-zu-Bild-Übersetzung, bei dem ein Eingabebild in ein anderes übersetzt wird, wobei die durch ein externes, vom Benutzer bereitgestelltes Leitbild vorgegebenen Einschränkungen berücksichtigt werden müssen. Verschiedene Bedingungsmechanismen zur Nutzung des gegebenen Leitbildes wurden bereits untersucht, darunter Eingabekonkatenation, Merkmalskonkatenation sowie bedingte affine Transformation von Merkmalsaktivierungen. All diese Bedingungsmechanismen sind jedoch einseitig, d. h., es findet kein Informationsfluss vom Eingabebild zurück zum Leitbild statt. Um die Einschränkungen des Leitbildes effizienter auszunutzen, stellen wir ein bidirektionales Merkmalstransformationsverfahren (bFT) vor. Wir zeigen, dass unser bFT-Verfahren andere Bedingungsmechanismen übertrifft und vergleichbare Ergebnisse zu den aktuellen Stand der Technik auf unterschiedlichen Aufgaben erzielt.