Les tâches de traitement du langage naturel, telles que la réponse aux questions, la traduction automatique, la compréhension de lecture et la synthèse, sont généralement abordées à l’aide d’un apprentissage supervisé sur des jeux de données spécifiques aux tâches. Nous démontrons que les modèles de langage commencent à apprendre ces tâches sans aucune supervision explicite lorsqu’ils sont entraînés sur un nouveau jeu de données composé de millions de pages web, appelé WebText. Lorsqu’ils sont conditionnés par un document accompagné de questions, les réponses générées par le modèle atteignent un score F1 de 55 sur le jeu de données CoQA — un résultat équivalent ou supérieur à celui de 3 des 4 systèmes de référence, sans avoir utilisé les 127 000 exemples d’entraînement. La capacité du modèle de langage est essentielle au succès du transfert de tâche en zéro-shot, et son augmentation améliore les performances de manière logarithmiquement linéaire à travers les tâches. Notre modèle le plus grand, GPT-2, est un Transformer de 1,5 milliard de paramètres qui atteint des résultats de pointe sur 7 des 8 jeux de données d’analyse de langage testés dans un cadre zéro-shot, bien qu’il sous-apprenne encore WebText. Les échantillons générés par le modèle reflètent ces progrès et contiennent des paragraphes de texte cohérents. Ces résultats suggèrent une voie prometteuse vers la construction de systèmes de traitement du langage capables d’apprendre à accomplir des tâches à partir de leurs propres exemples naturels.