HyperAIHyperAI

Command Palette

Search for a command to run...

DePT: Entkoppelte Prompt-Tuning

Ji Zhang Shihan Wu Lianli Gao Heng Tao Shen Jingkuan Song

Zusammenfassung

Diese Arbeit überwindet die Base-New-Tradeoff (BNT)-Dilemma bei der Prompt-Tuning, d.h. je besser das angepasste Modell auf der Basis-(oder Ziel-)Aufgabe generalisiert, desto schlechter generalisiert es auf neue Aufgaben, und umgekehrt. Genauer analysierend die gelernten Merkmale der Basis- und der neuen Aufgaben stellen wir fest, dass das BNT-Dilemma auf ein Kanal-Bias-Problem zurückzuführen ist: Die überwiegende Mehrheit der Merkmalskanäle wird von basis-spezifischem Wissen beansprucht, wodurch das für neue Aufgaben wichtige gemeinsame Aufgabenwissen kollabiert. Um dies zu beheben, schlagen wir den Decoupled Prompt Tuning (DePT)-Ansatz vor, der basis-spezifisches Wissen während der Prompt-Tuning aus den Merkmalskanälen in einen isolierten Merkmalsraum auslagert, um das gemeinsame Aufgabenwissen im ursprünglichen Merkmalsraum maximal zu erhalten und somit eine bessere Zero-Shot-Generalisierung auf neue Aufgaben zu erreichen. Wichtig ist, dass unser DePT orthogonal zu bestehenden Prompt-Tuning-Methoden ist und daher alle bestehenden Ansätze verbessern kann. Umfassende Experimente an 11 Datensätzen belegen die starke Flexibilität und Wirksamkeit von DePT. Unser Code und vortrainierte Modelle sind unter https://github.com/Koorye/DePT verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp