ProGen: Progressive Zero-shot-Datensatzgenerierung mittels kontextbasierter Rückmeldung

Kürzlich haben datenbankgestützte Zero-Shot-Lernansätze, die ein auf eine spezifische Aufgabe zugeschnittenes Modell mit einem aus großen vortrainierten Sprachmodellen (PLMs) synthetisierten Datensatz trainieren, vielversprechende Ergebnisse gezeigt. Das endgültige auf die Aufgabe zugeschnittene Modell erreicht unter Zero-Shot-Bedingungen oft eine vergleichbare oder sogar bessere Leistung als die PLMs, wobei es um Größenordnungen weniger Parameter benötigt. Allerdings weisen synthetische Datensätze erhebliche Nachteile auf. Sie leiden seit langem unter Qualitätsproblemen (z. B. geringer Informationsdichte und Redundanz). Dies erklärt, warum die enorme Menge an synthetischen Daten nicht zu einer besseren Leistung führt – im Gegensatz zu menschlich annotierten Datensätzen, bei denen man eine solche Verbesserung erwarten würde. Um die Qualität der Datensynthese zu verbessern, schlagen wir einen progressiven Ansatz zur Zero-Shot-Datensynthese, ProGen, vor, der das Feedback des auf die Aufgabe zugeschnittenen Modells nutzt, um die Erzeugung neuer Trainingsdaten über Kontextbeispiele zu leiten. Umfangreiche Experimente an fünf Textklassifizierungsdatensätzen belegen die Wirksamkeit des vorgeschlagenen Ansatzes. Zudem zeigen wir, dass ProGen mit nur 1 % der synthetischen Datengröße eine gleichwertige oder überlegene Leistung erzielt im Vergleich zu Baseline-Methoden ohne Kontextfeedback.