HyperAIHyperAI

Command Palette

Search for a command to run...

Task Compass: Skalierung des Multi-Task-Pre-Training mit Task-Prefix

Zhuosheng Zhang Shuohang Wang Yichong Xu Yuwei Fang Wenhao Yu Yang Liu Hai Zhao Chenguang Zhu Michael Zeng

Zusammenfassung

Die Nutzung von aufgabenbewussten annotierten Daten als überwachte Signale zur Unterstützung des selbstüberwachten Lernens auf großskaligen, nicht annotierten Datensätzen ist zu einem neuen Trend bei der Vortrainierung von Sprachmodellen geworden. Bestehende Studien zeigen, dass das Mehraufgaben-Lernen mit großskaligen überwachten Aufgaben unter negativen Auswirkungen zwischen den Aufgaben leidet. Um dieser Herausforderung zu begegnen, schlagen wir einen mehraufgabenbasierten Vortrainierungsansatz vor, der durch Aufgabenpräfixe gesteuert wird, um die Beziehungen zwischen den Aufgaben zu erforschen. Wir führen umfangreiche Experimente auf 40 Datensätzen durch, die zeigen, dass unser Modell nicht nur als starkes Grundgerüst für eine Vielzahl von Aufgaben dient, sondern auch als geeignetes Werkzeug zur Analyse von Aufgabenbeziehungen genutzt werden kann. Die durch die Präfixe reflektierten Aufgabenbeziehungen korrelieren mit der Transferleistung zwischen den Aufgaben. Zudem weisen sie Ansätze für die Datenaugmentation mit komplementären Aufgaben auf, die dazu beitragen, dass unser Modell Ergebnisse auf dem Niveau menschlicher Leistung auf Benchmarks für gemeinverständliche Schlussfolgerung erzielt. Der Quellcode ist unter https://github.com/cooelf/CompassMTL verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp