COSMo: CLIP-Gespräche zur Offenen-Mengen-Mehrziel-Domänenanpassung

Die Multi-Target Domain Adaptation (MTDA) beinhaltet das Lernen von domäneninvarianten Informationen aus einer einzelnen Quelldomäne und deren Anwendung auf mehrere nicht beschriftete Zieldomänen. Bestehende MTDA-Methoden konzentrieren sich jedoch hauptsächlich darauf, Domänenschiebungen innerhalb visueller Merkmale zu bewältigen, wobei sie oft semantische Merkmale vernachlässigen und Schwierigkeiten haben, unbekannte Klassen zu verarbeiten. Dies führt zu dem sogenannten Open-Set (OS)-MTDA. Obwohl groß angelegte visuelle Sprachgrundmodelle wie CLIP vielversprechend sind, bleibt ihr Potenzial für MTDA weitgehend unerforscht. In dieser Arbeit wird COSMo vorgestellt, eine neuartige Methode, die durch lerngeführte Prompting im Kontext der Quelldomäne domänenagnostische Prompts erlernt, um das MTDA-Problem im Promptraum anzugehen. Durch die Nutzung eines domänenspezifischen Biasnetzwerks und getrennter Prompts für bekannte und unbekannte Klassen kann COSMo effektiv sowohl Domänen- als auch Klassenschiebungen bewältigen. Nach bestem Wissen ist COSMo die erste Methode, die Open-Set Multi-Target DA (OSMTDA) anspricht und eine realistischere Darstellung von realweltlichen Szenarien bietet sowie die Herausforderungen sowohl des Open-Set- als auch des Multi-Target-DAs meistert. COSMo zeigt einen durchschnittlichen Leistungszuwachs von 5,1 % über drei anspruchsvolle Datensätze: Mini-DomainNet, Office-31 und Office-Home im Vergleich zu anderen verwandten DA-Methoden, die für den Betrieb im OSMTDA-Kontext angepasst wurden. Der Code ist unter folgender URL verfügbar: https://github.com/munish30monga/COSMo