HyperAIHyperAI

Command Palette

Search for a command to run...

Instanzbasierte heterogene Domänenanpassung für annotierungsarmes Sketch-to-Photo-Abfrage

Fan Yang Yang Wu Zheng Wang Xiang Li Sakriani Sakti Satoshi Nakamura

Zusammenfassung

Obwohl die Sketch-to-Photo-Abbildungssuche eine Vielzahl von Anwendungen findet, ist die Beschaffung von gepaarten und reich annotierten Referenzdaten kostspielig. Im Gegensatz dazu sind Foto-Abbildungssuchdaten leichter zugänglich. Daher haben frühere Arbeiten ihre Modelle zunächst auf reich annotierten Foto-Abbildungssuchdaten (d. h. Quelldomäne) vortrainiert und anschließend auf den begrenzt annotierten Sketch-to-Photo-Abbildungssuchdaten (d. h. Zieldomäne) feinabgestimmt. Allerdings kann bei fehlendem gleichzeitigen Training mit Quell- und Zieldaten Wissen aus der Quelldomäne während des Feinabstimmens verloren gehen, während das einfache gemeinsame Training aufgrund von Domänenunterschieden negative Übertragung verursachen kann. Zudem sind die Identitätslabelräume der Quell- und Zieldaten in der Regel disjunkt, wodurch herkömmliche kategorienbasierte Domänenanpassung (Domain Adaptation, DA) nicht direkt anwendbar ist. Um diese Herausforderungen zu bewältigen, schlagen wir einen Rahmen für instanzbasierte heterogene Domänenanpassung (Instance-level Heterogeneous Domain Adaptation, IHDA) vor. Wir nutzen eine Feinabstimmungsstrategie zur Lernung von Identitätslabels, um instanzbasiertes Wissen induktiv zu übertragen. Gleichzeitig werden aus den Quelldaten annotierte Attribute ausgewählt, um einen gemeinsamen Labelraum für Quell- und Zieldomäne zu bilden. Unter Leitung dieser gemeinsamen Attribute wird DA eingesetzt, um Lücken zwischen Datensätzen und zwischen heterogenen Domänen zu schließen und instanzbasiertes Wissen transduktiv zu übertragen. Experimente zeigen, dass unsere Methode auf drei Sketch-to-Photo-Benchmark-Datenbanken eine neue state-of-the-art-Leistung erzielt, ohne zusätzliche Annotationen zu benötigen. Dies eröffnet neue Möglichkeiten zur Entwicklung effektiverer Modelle für auf begrenzten, heterogenen Bildabfrageaufgaben. Relevanten Code finden Sie unter: https://github.com/fandulu/IHDA.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Instanzbasierte heterogene Domänenanpassung für annotierungsarmes Sketch-to-Photo-Abfrage | Paper | HyperAI