Task Compass: Skalierung des Multi-Task-Pre-Training mit Task-Prefix

Die Nutzung von aufgabenbewussten annotierten Daten als überwachte Signale zur Unterstützung des selbstüberwachten Lernens auf großskaligen, nicht annotierten Datensätzen ist zu einem neuen Trend bei der Vortrainierung von Sprachmodellen geworden. Bestehende Studien zeigen, dass das Mehraufgaben-Lernen mit großskaligen überwachten Aufgaben unter negativen Auswirkungen zwischen den Aufgaben leidet. Um dieser Herausforderung zu begegnen, schlagen wir einen mehraufgabenbasierten Vortrainierungsansatz vor, der durch Aufgabenpräfixe gesteuert wird, um die Beziehungen zwischen den Aufgaben zu erforschen. Wir führen umfangreiche Experimente auf 40 Datensätzen durch, die zeigen, dass unser Modell nicht nur als starkes Grundgerüst für eine Vielzahl von Aufgaben dient, sondern auch als geeignetes Werkzeug zur Analyse von Aufgabenbeziehungen genutzt werden kann. Die durch die Präfixe reflektierten Aufgabenbeziehungen korrelieren mit der Transferleistung zwischen den Aufgaben. Zudem weisen sie Ansätze für die Datenaugmentation mit komplementären Aufgaben auf, die dazu beitragen, dass unser Modell Ergebnisse auf dem Niveau menschlicher Leistung auf Benchmarks für gemeinverständliche Schlussfolgerung erzielt. Der Quellcode ist unter https://github.com/cooelf/CompassMTL verfügbar.