Instanzbasierte heterogene Domänenanpassung für annotierungsarmes Sketch-to-Photo-Abfrage

Obwohl die Sketch-to-Photo-Abbildungssuche eine Vielzahl von Anwendungen findet, ist die Beschaffung von gepaarten und reich annotierten Referenzdaten kostspielig. Im Gegensatz dazu sind Foto-Abbildungssuchdaten leichter zugänglich. Daher haben frühere Arbeiten ihre Modelle zunächst auf reich annotierten Foto-Abbildungssuchdaten (d. h. Quelldomäne) vortrainiert und anschließend auf den begrenzt annotierten Sketch-to-Photo-Abbildungssuchdaten (d. h. Zieldomäne) feinabgestimmt. Allerdings kann bei fehlendem gleichzeitigen Training mit Quell- und Zieldaten Wissen aus der Quelldomäne während des Feinabstimmens verloren gehen, während das einfache gemeinsame Training aufgrund von Domänenunterschieden negative Übertragung verursachen kann. Zudem sind die Identitätslabelräume der Quell- und Zieldaten in der Regel disjunkt, wodurch herkömmliche kategorienbasierte Domänenanpassung (Domain Adaptation, DA) nicht direkt anwendbar ist. Um diese Herausforderungen zu bewältigen, schlagen wir einen Rahmen für instanzbasierte heterogene Domänenanpassung (Instance-level Heterogeneous Domain Adaptation, IHDA) vor. Wir nutzen eine Feinabstimmungsstrategie zur Lernung von Identitätslabels, um instanzbasiertes Wissen induktiv zu übertragen. Gleichzeitig werden aus den Quelldaten annotierte Attribute ausgewählt, um einen gemeinsamen Labelraum für Quell- und Zieldomäne zu bilden. Unter Leitung dieser gemeinsamen Attribute wird DA eingesetzt, um Lücken zwischen Datensätzen und zwischen heterogenen Domänen zu schließen und instanzbasiertes Wissen transduktiv zu übertragen. Experimente zeigen, dass unsere Methode auf drei Sketch-to-Photo-Benchmark-Datenbanken eine neue state-of-the-art-Leistung erzielt, ohne zusätzliche Annotationen zu benötigen. Dies eröffnet neue Möglichkeiten zur Entwicklung effektiverer Modelle für auf begrenzten, heterogenen Bildabfrageaufgaben. Relevanten Code finden Sie unter: https://github.com/fandulu/IHDA.