HyperAIHyperAI

Command Palette

Search for a command to run...

Few-shot-Lernen über Domänen hinweg mit aufgabe-spezifischen Adaptern

Wei-Hong Li Xialei Liu Hakan Bilen

Zusammenfassung

In diesem Paper betrachten wir das Problem der cross-domain Few-Shot-Klassifikation, das darauf abzielt, einen Klassifikator aus bisher nicht gesehenen Klassen und Domänen mit wenigen gelabelten Beispielen zu lernen. Neuere Ansätze lösen dieses Problem im Wesentlichen durch die Parametrisierung ihrer Few-Shot-Klassifikatoren mittels task-agnostischer und task-spezifischer Gewichte, wobei die erstgenannten typischerweise auf einem großen Trainingsdatensatz gelernt werden und die letzteren dynamisch über ein Hilfsnetzwerk vorhergesagt werden, das auf einem kleinen Support-Satz bedingt ist. In dieser Arbeit konzentrieren wir uns auf die Schätzung der task-spezifischen Gewichte und schlagen vor, diese direkt von Grund auf auf einem kleinen Support-Satz zu lernen, im Gegensatz zur dynamischen Schätzung. Insbesondere zeigen wir durch eine systematische Analyse, dass task-spezifische Gewichte, die mittels parametrischer Adapter in Matrixform mit Residual-Verbindungen zu mehreren Zwischenschichten eines Backbone-Netzwerks implementiert sind, die Leistung der aktuellen Stand der Technik in der Meta-Dataset-Benchmark erheblich verbessern, und zwar mit nur geringfügigem zusätzlichen Aufwand.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Few-shot-Lernen über Domänen hinweg mit aufgabe-spezifischen Adaptern | Paper | HyperAI