Training bezieht sich auf die iterative Anpassung der Modellparameter durch Daten, um das Modell an die Abbildung von Eingaben zu Ausgaben anzupassen. Aktuelle große Sprachmodelle verwenden in der Regel einen zweistufigen Prozess: In der ersten Phase wird ein Pre-Training auf riesigen Textmengen durchgeführt, wobei das Ziel die Vorhersage des nächsten Tokens ist; in der zweiten Phase wird ein Post-Training mit einer kleinen Menge hochwertiger Daten durchgeführt, um das Modellverhalten von der bloßen Textfortsetzung zur Befolgung von Anweisungen zu verändern.

Im Jahr 2022 schlugen Ouyang et al. in ihrem Paper „Training language models to follow instructions with human feedback“ den klassischen Ablauf des Post-Trainings vor: Zuerst verfassen Annotatoren Musterantworten, dann wird ein Belohnungssignal basierend auf den Präferenz-Rankings menschlicher Bewertner für mehrere Ausgaben zu derselben Frage erstellt, und das Modell wird entsprechend weiter optimiert. Die Ergebnisse zeigten, dass die Ausgaben von InstructGPT mit 1,3 Milliarden Parametern von Menschen bevorzugt wurden im Vergleich zu GPT-3 mit 175 Milliarden Parametern; die Parameteranzahl des ersteren beträgt etwa ein Hundertstel des letzteren, während es gleichzeitig bessere Ergebnisse bei den Metriken für Authentizität und Toxizität erzielte. Dieses Ergebnis zeigt, dass das Post-Training die Nutzbarkeit des Modells erheblich verbessern kann, ohne die Parameteranzahl zu erhöhen. Seitdem ist „Pre-Training + Post-Training“ zum Standardverfahren für das Training großer Modelle geworden.