L'entraînement (Training) désigne l'ajustement itératif des paramètres du modèle via des données, permettant au modèle d'apprendre la relation de mappage de l'entrée vers la sortie. Les grands modèles actuels adoptent généralement un processus en deux étapes : la première étape consiste en un pré-entraînement sur d'immenses volumes de texte, dont l'objectif est la prédiction du prochain jeton ; la deuxième étape consiste en un post-entraînement utilisant une petite quantité de données de haute qualité, faisant évoluer le comportement du modèle de la simple continuation de texte vers le respect des instructions.

En 2022, Ouyang et al. ont proposé dans l'article « Training language models to follow instructions with human feedback » le processus classique de post-entraînement : d'abord, des annotateurs rédigent des réponses exemplaires ; ensuite, un signal de récompense est construit en se basant sur le classement des préférences humaines entre plusieurs sorties pour une même question, et le modèle est optimisé en conséquence. Les résultats ont montré que les sorties d'InstructGPT, comptant 1,3 milliard de paramètres, étaient préférées par les humains à celles de GPT-3, qui en compte 175 milliards ; le premier possède environ 1 % des paramètres du second, tout en affichant de meilleures performances en termes de véracité et de toxicité. Ce résultat démontre que le post-entraînement permet d'améliorer significativement l'utilisabilité du modèle sans augmenter la taille des paramètres. Depuis, « pré-entraînement + post-entraînement » est devenu le processus standard d'entraînement des grands modèles.