Anpassung an Verteilungsshift durch visuelle Domain-Prompt-Generierung

In diesem Paper zielen wir darauf ab, ein Modell zur Testzeit mit wenigen unlabeled Daten anzupassen, um Verteilungsverschiebungen zu bewältigen. Um die Herausforderungen bei der Extraktion von Domänenwissen aus begrenzten Datensätzen zu meistern, ist es entscheidend, korrelierte Informationen aus vortrainierten Backbone-Modellen und Quelldomänen zu nutzen. Bisherige Studien nutzen keine jüngeren Foundation-Modelle mit starker Generalisierungsfähigkeit außerhalb der Trainingsverteilung ausreichend. Zudem fehlen domänenzentrierte Designansätze in ihren Ansätzen. Außerdem werden der Prozess der Modellierung von Quelldomänen und der Prozess des Adaptierens unabhängig voneinander in getrennten Trainingsphasen durchgeführt. In dieser Arbeit schlagen wir einen Ansatz vor, der auf vorberechneten Features eines Foundation-Modells basiert. Konkret bauen wir eine Wissensbank auf, um übertragbares Wissen aus Quelldomänen zu erlernen. Unter der Bedingung von few-shot-Zieldaten führen wir einen Domänen-Prompt-Generator ein, um die Wissensbank in einen domänen-spezifischen Prompt zu komprimieren. Dieser Domänen-Prompt leitet anschließend die visuellen Merkmale über eine Leitungsmodul hin zu einer bestimmten Domäne. Zudem schlagen wir eine domänenbewusste kontrastive Verlustfunktion vor und nutzen Meta-Lernen, um die Extraktion von Domänenwissen zu unterstützen. Um die Wirksamkeit der Wissensextraktion zu validieren, führen wir umfangreiche Experimente durch. Das vorgeschlagene Verfahren erreicht auf fünf großen Benchmarks, darunter WILDS und DomainNet, eine bessere Leistung als frühere Ansätze.