HyperAIHyperAI

Command Palette

Search for a command to run...

Vielstufige Bild-zu-Bild-Übersetzung durch entkoppelte Darstellungen

Hsin-Ying Lee Hung-Yu Tseng Jia-Bin Huang Maneesh Singh Ming-Hsuan Yang

Zusammenfassung

Die Bild-zu-Bild-Übersetzung zielt darauf ab, die Abbildung zwischen zwei visuellen Domänen zu erlernen. Für viele Anwendungen gibt es zwei Hauptherausforderungen: 1) den Mangel an ausgerichteten Trainingspaaren und 2) die Möglichkeit mehrerer Ausgaben für ein einzelnes Eingangsbild. In dieser Arbeit präsentieren wir einen Ansatz basierend auf entkoppelten Darstellungen, um vielfältige Ausgaben ohne paarweise Trainingsbilder zu erzeugen. Um Vielfalt zu erreichen, schlagen wir vor, Bilder in zwei Räume einzubetten: einen domäneninvarianten Inhaltsraum, der gemeinsame Informationen über die Domänen hinweg erfasst, und einen domänenspezifischen Attributraum. Unser Modell verwendet die kodierten Inhaltsmerkmale, die aus einem gegebenen Eingangsbild extrahiert werden, und die Attributvektoren, die aus dem Attributraum gezogen werden, um bei Testzeit vielfältige Ausgaben zu produzieren. Um unpaarierte Trainingsdaten zu verarbeiten, führen wir eine neuartige Kreuzzyklus-Konsistenzverlustfunktion basierend auf entkoppelten Darstellungen ein. Qualitative Ergebnisse zeigen, dass unser Modell in der Lage ist, vielfältige und realistische Bilder bei einer breiten Palette von Aufgaben ohne paarweise Trainingsdaten zu generieren. Für quantitative Vergleiche messen wir Realismus durch Benutzerstudien und Vielfalt mit einem wahrnehmungsbezogenen Distanzmaß (perceptual distance metric). Wir wenden das vorgeschlagene Modell auf Domänenanpassung an und zeigen leistungsfähige Ergebnisse im Vergleich zum aktuellen Stand der Technik (state-of-the-art) auf den Datensätzen MNIST-M und LineMod.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Vielstufige Bild-zu-Bild-Übersetzung durch entkoppelte Darstellungen | Paper | HyperAI