HyperAIHyperAI

Command Palette

Search for a command to run...

Große Sprachmodelle als bessere Daten-Ersteller gestalten

Dong-Ho Lee Jay Pujara Mohit Sewak Ryen W. White Sujay Kumar Jauhar

Zusammenfassung

Obwohl große Sprachmodelle (Large Language Models, LLMs) den Stand der Technik in der natürlichen Sprachverarbeitung (NLP) erheblich vorangetrieben haben, bleibt ihre Anwendung in nachgeschalteten Anwendungen weiterhin herausfordernd aufgrund von Kosten, Reaktionsgeschwindigkeit, Kontrolle sowie Bedenken hinsichtlich Datenschutz und Sicherheit. In bestimmten Fällen sind daher weiterhin trainierbare Modelle die bevorzugte Wahl. Diese Modelle erfordern jedoch dennoch menschlich annotierte Daten für eine optimale Leistung, die aufwändig und zeitaufwendig zu beschaffen sind. Um dieses Problem anzugehen, wurden mehrere Techniken entwickelt, die darauf abzielen, den menschlichen Aufwand bei der Datenannotation oder -generierung durch Nutzung von LLMs zu reduzieren. Obwohl diese Ansätze für bestimmte Anwendungen wirksam sind, stoßen sie in der Praxis bei realen Szenarien auf erhebliche Schwierigkeiten. Die Annotation erfordert eine sorgfältige Datenauswahl, während die Generierung von Daten spezifische Prompt-Engineering-Ansätze für die jeweilige Aufgabe erfordert. In diesem Artikel stellen wir einen einheitlichen Datenerstellungs-Pipeline vor, die lediglich ein einziges Formatierungsbeispiel benötigt und sich auf eine breite Palette von Aufgaben anwenden lässt, einschließlich traditionell problematischer Aufgaben mit semantisch leeren Labelräumen. In unseren Experimenten zeigen wir, dass LLMs, die auf Anweisungen reagieren, äußerst kosteneffektive Ersteller von Trainingsdaten sind. Modelle, die mit diesen Daten trainiert wurden, erreichen eine Leistung, die auf Out-of-Distribution-Evaluationen bis zu 17,5 Prozent besser ist als die von Modellen, die mit menschlich annotierten Daten trainiert wurden, während sie gleichzeitig eine vergleichbare Leistung auf In-Distribution-Aufgaben beibehalten. Diese Ergebnisse haben wichtige Implikationen für die Robustheit von NLP-Systemen, die in der realen Welt eingesetzt werden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp