Große Sprachmodelle als bessere Daten-Ersteller gestalten

Obwohl große Sprachmodelle (Large Language Models, LLMs) den Stand der Technik in der natürlichen Sprachverarbeitung (NLP) erheblich vorangetrieben haben, bleibt ihre Anwendung in nachgeschalteten Anwendungen weiterhin herausfordernd aufgrund von Kosten, Reaktionsgeschwindigkeit, Kontrolle sowie Bedenken hinsichtlich Datenschutz und Sicherheit. In bestimmten Fällen sind daher weiterhin trainierbare Modelle die bevorzugte Wahl. Diese Modelle erfordern jedoch dennoch menschlich annotierte Daten für eine optimale Leistung, die aufwändig und zeitaufwendig zu beschaffen sind. Um dieses Problem anzugehen, wurden mehrere Techniken entwickelt, die darauf abzielen, den menschlichen Aufwand bei der Datenannotation oder -generierung durch Nutzung von LLMs zu reduzieren. Obwohl diese Ansätze für bestimmte Anwendungen wirksam sind, stoßen sie in der Praxis bei realen Szenarien auf erhebliche Schwierigkeiten. Die Annotation erfordert eine sorgfältige Datenauswahl, während die Generierung von Daten spezifische Prompt-Engineering-Ansätze für die jeweilige Aufgabe erfordert. In diesem Artikel stellen wir einen einheitlichen Datenerstellungs-Pipeline vor, die lediglich ein einziges Formatierungsbeispiel benötigt und sich auf eine breite Palette von Aufgaben anwenden lässt, einschließlich traditionell problematischer Aufgaben mit semantisch leeren Labelräumen. In unseren Experimenten zeigen wir, dass LLMs, die auf Anweisungen reagieren, äußerst kosteneffektive Ersteller von Trainingsdaten sind. Modelle, die mit diesen Daten trainiert wurden, erreichen eine Leistung, die auf Out-of-Distribution-Evaluationen bis zu 17,5 Prozent besser ist als die von Modellen, die mit menschlich annotierten Daten trainiert wurden, während sie gleichzeitig eine vergleichbare Leistung auf In-Distribution-Aufgaben beibehalten. Diese Ergebnisse haben wichtige Implikationen für die Robustheit von NLP-Systemen, die in der realen Welt eingesetzt werden.