Adversariale Offene Domänenanpassung für die Skizzen-zu-Foto-Synthese

In dieser Arbeit untersuchen wir die offene Domänenübersetzung von Skizzen zu Fotos, die darauf abzielt, ein realistisches Foto aus einer freihandgezeichneten Skizze und deren Klassenbezeichnung zu synthetisieren, auch wenn die Skizzen dieser Klasse in den Trainingsdaten fehlen. Dies ist aufgrund des Mangels an Trainingsüberwachung und der großen geometrischen Verzerrung zwischen den Domänen der freihandgezeichneten Skizzen und Fotos herausfordernd. Um die fehlenden freihandgezeichneten Skizzen aus Fotos zu synthetisieren, schlagen wir einen Framework vor, der die Erzeugung von Skizzen zu Fotos und umgekehrt gleichzeitig lernt. Allerdings kann ein Generator, der auf gefälschten Skizzen trainiert wurde, bei der Bearbeitung von Skizzen fehlender Klassen unzufriedenstellende Ergebnisse liefern, aufgrund der Domaingrenze zwischen synthetisierten und echten Skizzen. Um dieses Problem zu mildern, schlagen wir eine einfache aber effektive Strategie für offene Domänen-Abtastung und -Optimierung vor, um den Generator dazu zu bringen, gefälschte Skizzen als echte zu behandeln. Unsere Methode nutzt die gelernten Abbildungen von Skizze zu Foto und umgekehrt für in-domänendaten und verallgemeinert sie auf offene Domänenklassen. Wir validieren unsere Methode anhand der Datensätze Scribble und SketchyCOCO. Im Vergleich zu aktuellen wettbewerbsfähigen Methoden zeigt unser Ansatz beeindruckende Ergebnisse bei der Synthetisierung realistischer Farben, Texturen und dem Erhalt der geometrischen Komposition für verschiedene Kategorien von offenen Domänen-Skizzen. Unser Code ist unter https://github.com/Mukosame/AODA verfügbar.