Errate die Anweisung! Gekehrtes Lernen macht Sprachmodelle stärkere Zero-Shot-Lerner

Meta-Training, bei dem die Sprachmodell (LM) durch Maximierung der Wahrscheinlichkeit des Ziellabels unter Angabe der Aufgabenanweisung und des Eingabeproben auf verschiedene Downstream-Aufgaben feinabgestimmt wird, hat die Leistungsfähigkeit bei der Zero-Shot-Aufgabenverallgemeinerung verbessert. Dennoch haben meta-geübte LMs weiterhin Schwierigkeiten, auf anspruchsvolle Aufgaben zu generalisieren, die neue, während des Meta-Trainings nicht gesehene Labels enthalten. In diesem Paper stellen wir Flipped Learning vor, eine alternative Methode des Meta-Trainings, bei der das LM trainiert wird, die Aufgabenanweisung anhand der Eingabeprobe und des Labels zu generieren. Während der Inferenz wählt das mit Flipped Learning trainierte Modell, das als Flipped bezeichnet wird, diejenige Label-Option, die am wahrscheinlichsten die Aufgabenanweisung erzeugt. Auf 14 Aufgaben des BIG-bench Benchmarks übertrifft das 11B-Modell Flipped im Durchschnitt die Zero-Shot-Version von T0-11B um 8,4 Prozentpunkte und sogar ein 16-mal größeres 3-Shot-GPT-3 (175B) um 9,7 Prozentpunkte. Flipped zeigt insbesondere erhebliche Verbesserungen bei Aufgaben mit bisher nicht gesehenen Labels und übertrifft T0-11B bis zu +20 Prozentpunkte im durchschnittlichen F1-Score. Dies zeigt, dass die starke Aufgabenverallgemeinerungsfähigkeit von Flipped auf einer verbesserten Generalisierung auf neue Labels beruht. Wir stellen unseren Code unter https://github.com/seonghyeonye/Flipped-Learning zur Verfügung.