Aufgaben des natürlichen Sprachverstehens wie Fragebeantwortung, maschinelle Übersetzung, Leseverständnis und Zusammenfassung werden typischerweise mit überwachtem Lernen an aufgabe-spezifischen Datensätzen angegangen. Wir zeigen, dass Sprachmodelle diese Aufgaben bereits ohne explizite Überwachung erlernen, wenn sie auf einem neuen Datensatz aus Millionen von Webseiten namens WebText trainiert werden. Wenn das Sprachmodell auf einen Dokument- und Fragen-Input konditioniert wird, erreichen die generierten Antworten eine F1-Score von 55 auf dem CoQA-Datensatz – was die Leistung von drei von vier Baseline-Systemen erreicht oder sogar übertrifft, ohne die 127.000+ Trainingsbeispiele zu nutzen. Die Kapazität des Sprachmodells ist entscheidend für den Erfolg des zero-shot Task Transfer, und eine Erhöhung der Kapazität verbessert die Leistung über alle Aufgaben hinweg log-linear. Unser größtes Modell, GPT-2, ist ein 1,5 Milliarden Parameter großes Transformer-Modell, das in einem zero-shot Setting Zustand der Kunst Ergebnisse auf sieben von acht getesteten Sprachmodellierungs-Datensätzen erzielt, dennoch jedoch noch unterfit auf WebText. Die von dem Modell generierten Textproben spiegeln diese Fortschritte wider und enthalten kohärente Absätze. Diese Ergebnisse deuten auf einen vielversprechenden Weg hin, Sprachverarbeitungssysteme zu entwickeln, die Aufgaben aus ihren natürlich vorkommenden Demonstrationen lernen.