HyperAIHyperAI

Command Palette

Search for a command to run...

Adversariale Offene Domänenanpassung für die Skizzen-zu-Foto-Synthese

Xiaoyu Xiang Ding Liu Xiao Yang Yiheng Zhu Xiaohui Shen Jan P. Allebach

Zusammenfassung

In dieser Arbeit untersuchen wir die offene Domänenübersetzung von Skizzen zu Fotos, die darauf abzielt, ein realistisches Foto aus einer freihandgezeichneten Skizze und deren Klassenbezeichnung zu synthetisieren, auch wenn die Skizzen dieser Klasse in den Trainingsdaten fehlen. Dies ist aufgrund des Mangels an Trainingsüberwachung und der großen geometrischen Verzerrung zwischen den Domänen der freihandgezeichneten Skizzen und Fotos herausfordernd. Um die fehlenden freihandgezeichneten Skizzen aus Fotos zu synthetisieren, schlagen wir einen Framework vor, der die Erzeugung von Skizzen zu Fotos und umgekehrt gleichzeitig lernt. Allerdings kann ein Generator, der auf gefälschten Skizzen trainiert wurde, bei der Bearbeitung von Skizzen fehlender Klassen unzufriedenstellende Ergebnisse liefern, aufgrund der Domaingrenze zwischen synthetisierten und echten Skizzen. Um dieses Problem zu mildern, schlagen wir eine einfache aber effektive Strategie für offene Domänen-Abtastung und -Optimierung vor, um den Generator dazu zu bringen, gefälschte Skizzen als echte zu behandeln. Unsere Methode nutzt die gelernten Abbildungen von Skizze zu Foto und umgekehrt für in-domänendaten und verallgemeinert sie auf offene Domänenklassen. Wir validieren unsere Methode anhand der Datensätze Scribble und SketchyCOCO. Im Vergleich zu aktuellen wettbewerbsfähigen Methoden zeigt unser Ansatz beeindruckende Ergebnisse bei der Synthetisierung realistischer Farben, Texturen und dem Erhalt der geometrischen Komposition für verschiedene Kategorien von offenen Domänen-Skizzen. Unser Code ist unter https://github.com/Mukosame/AODA verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp