HyperAIHyperAI

Command Palette

Search for a command to run...

Visual Prompt Tuning für die Domain-Adaption zur Testzeit

Yunhe Gao Xingjian Shi Yi Zhu Hao Wang Zhiqiang Tang Xiong Zhou Mu Li Dimitris N. Metaxas

Zusammenfassung

Modelle sollten in der Lage sein, sich während der Testzeit an unbekannte Daten anzupassen, um Leistungsabfälle zu vermeiden, die durch unvermeidbare Verteilungsschiebungen in realen Einsatzszenarien verursacht werden. In dieser Arbeit behandeln wir das praktisch relevante, jedoch herausfordernde Problem des Test-Time Adaptation (TTA), bei dem ein Modell sich an die Zieldomäne anpasst, ohne Zugriff auf die Quelldaten zu haben. Wir stellen ein einfaches Verfahren namens \textit{Data-efficient Prompt Tuning} (DePT) vor, das zwei zentrale Komponenten enthält. Erstens integriert DePT visuelle Prompts in den Vision Transformer und passt während der Adaptation lediglich diese aus der Quelle initialisierten Prompts an. Wir beobachten, dass diese parameter-effiziente Feinabstimmung das Modellrepräsentationsvermögen effizient an die Zieldomäne anpassen kann, ohne sich übermäßig an den Rausch im Lernziel zu überfitten. Zweitens nutzt DePT eine Speicherbank-basierte Online-Pseudolabeling-Methode, um die Quellrepräsentation auf die Zieldomäne zu übertragen. Eine hierarchische, speziell für Prompts entworfene selbstüberwachte Regularisierung wird gemeinsam mit dem Prozess optimiert, um die Akkumulation von Fehlern während des Selbstlernens zu verringern. Mit deutlich weniger anpassbaren Parametern erreicht DePT nicht nur Spitzenleistungen auf etablierten Adaptationsbenchmarks wie VisDA-C, ImageNet-C und DomainNet-126, sondern zeigt auch eine herausragende Daten-Effizienz: Die Adaptation mit lediglich 1% oder 10% der Daten führt zu nur geringfügigen Leistungsverlusten gegenüber der Verwendung von 100% der Daten. Darüber hinaus ist DePT zudem vielseitig einsetzbar und lässt sich problemlos auf Online- oder Mehrquellen-TTA-Szenarien erweitern.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp