Sprachmodelle sind Few-Shot-Lerner

Neuere Arbeiten haben erhebliche Fortschritte bei vielen NLP-Aufgaben und Benchmarks gezeigt, indem sie zunächst auf einem großen Textkorpus vortrainiert und dann für eine spezifische Aufgabe feinjustiert wurden. Obwohl die Architektur dieser Methode in der Regel aufgabeneutral ist, bedarf es immer noch aufgabenbezogener Feinjustierungsdatensätze mit Tausenden oder Zehntausenden von Beispielen. Im Gegensatz dazu können Menschen in der Regel neue Sprachaufgaben mit nur wenigen Beispielen oder einfachen Anweisungen bewältigen – ein Bereich, in dem aktuelle NLP-Systeme noch große Schwierigkeiten haben. In dieser Arbeit zeigen wir, dass das Skalieren von Sprachmodellen stark die aufgabeneutrale, wenigeingabe-gestützte Leistung verbessert, manchmal sogar bis hin zu Wettbewerbsfähigkeit mit bisherigen state-of-the-art-Feinjustierungsansätzen. Insbesondere trainieren wir GPT-3, ein autoregressives Sprachmodell mit 175 Milliarden Parametern, zehnmal mehr als jedes vorherige nicht-spärliche Sprachmodell, und testen seine Leistung im wenigeingabe-gestützten Szenario. Für alle Aufgaben wird GPT-3 ohne Gradientenaktualisierungen oder Feinjustierung angewendet; Aufgaben und wenigeingabe-gestützte Demonstrationen werden ausschließlich durch textbasierte Interaktionen mit dem Modell spezifiziert. GPT-3 erzielt starke Ergebnisse auf vielen NLP-Datensätzen, einschließlich Übersetzungen, Fragebeantwortung und Lückentextaufgaben (cloze tasks), sowie bei mehreren Aufgaben, die spontanes Denken oder Domänenanpassung erfordern, wie das Entwirren von Wörtern, den Einsatz eines neuen Wortes in einem Satz oder das Durchführen dreistelliger Rechenoperationen. Zugleich identifizieren wir auch einige Datensätze, bei denen das wenigeingabe-gestützte Lernen von GPT-3 noch Schwierigkeiten hat, sowie einige Datensätze, bei denen GPT-3 methodologische Probleme im Zusammenhang mit dem Training auf großen Web-Korpora aufweist. Schließlich stellen wir fest, dass GPT-3 Nachrichtenartikel generieren kann, die menschliche Bewertende schwer zu unterscheiden sind von Artikeln, die von Menschen verfasst wurden. Wir diskutieren die weitreichenderen gesellschaftlichen Auswirkungen dieses Befundes sowie die allgemeinen Auswirkungen von GPT-3.注释：- "NLP" stands for "Natural Language Processing" and is translated as "NLP" (Natürliche Sprachverarbeitung).- "GPT-3" is the name of the model and remains unchanged.- "few-shot" is translated as "wenigeingabe-gestützt".- "cloze tasks" is a specific term in NLP and is translated as "Lückentextaufgaben".