Visual Prompt Tuning für die Domain-Adaption zur Testzeit

Modelle sollten in der Lage sein, sich während der Testzeit an unbekannte Daten anzupassen, um Leistungsabfälle zu vermeiden, die durch unvermeidbare Verteilungsschiebungen in realen Einsatzszenarien verursacht werden. In dieser Arbeit behandeln wir das praktisch relevante, jedoch herausfordernde Problem des Test-Time Adaptation (TTA), bei dem ein Modell sich an die Zieldomäne anpasst, ohne Zugriff auf die Quelldaten zu haben. Wir stellen ein einfaches Verfahren namens \textit{Data-efficient Prompt Tuning} (DePT) vor, das zwei zentrale Komponenten enthält. Erstens integriert DePT visuelle Prompts in den Vision Transformer und passt während der Adaptation lediglich diese aus der Quelle initialisierten Prompts an. Wir beobachten, dass diese parameter-effiziente Feinabstimmung das Modellrepräsentationsvermögen effizient an die Zieldomäne anpassen kann, ohne sich übermäßig an den Rausch im Lernziel zu überfitten. Zweitens nutzt DePT eine Speicherbank-basierte Online-Pseudolabeling-Methode, um die Quellrepräsentation auf die Zieldomäne zu übertragen. Eine hierarchische, speziell für Prompts entworfene selbstüberwachte Regularisierung wird gemeinsam mit dem Prozess optimiert, um die Akkumulation von Fehlern während des Selbstlernens zu verringern. Mit deutlich weniger anpassbaren Parametern erreicht DePT nicht nur Spitzenleistungen auf etablierten Adaptationsbenchmarks wie VisDA-C, ImageNet-C und DomainNet-126, sondern zeigt auch eine herausragende Daten-Effizienz: Die Adaptation mit lediglich 1\% oder 10\% der Daten führt zu nur geringfügigen Leistungsverlusten gegenüber der Verwendung von 100\% der Daten. Darüber hinaus ist DePT zudem vielseitig einsetzbar und lässt sich problemlos auf Online- oder Mehrquellen-TTA-Szenarien erweitern.