التدريب (Training) يشير إلى ضبط معاملات النموذج من خلال التكرار على البيانات، بما يمكّن النموذج من拟合 العلاقة القابلة للتعيين من المدخلات إلى المخرجات. عادةً ما تتبع النماذج الكبيرة الحالية عملية مكونة من مرحلتين: المرحلة الأولى هي التدريب المسبق على كميات هائلة من النصوص، بهدف التنبؤ بالكلمة (token) التالية؛ والمرحلة الثانية هي التدريب اللاحق باستخدام كمية صغيرة من البيانات عالية الجودة، مما يحول سلوك النموذج من مجرد استكمال النصوص إلى اتباع التعليمات.

في عام 2022، قدم Ouyang وزملاؤه في ورقة بحثية بعنوان 《Training language models to follow instructions with human feedback》 العملية الكلاسيكية للتدريب اللاحق: أولاً، يقوم المعلنون بكتابة إجابات نموذجية، ثم يتم بناء إشارات المكافأة بناءً على تفضيلات البشر لترتيب عدة مخرجات لنفس السؤال، وبناءً على ذلك يتم مواصلة تحسين النموذج. أظهرت النتائج أن مخرجات نموذج InstructGPT بحجم معاملات قدره 1.3 مليار كانت أكثر تفضيلاً لدى البشر مقارنةً بنموذج GPT-3 بحجم معاملات قدره 175 ملياراً؛ حيث كان حجم معاملات الأول حوالي واحد بالمئة من حجم معاملات الثاني، وفي الوقت نفسه حقق أداءً أفضل في مؤشرات الحقيقة والسمية. يوضح هذا أن التدريب اللاحق يمكنه تحسين قابلية استخدام النموذج بشكل كبير دون زيادة حجم المعاملات. ومنذ ذلك الحين، أصبح "التدريب المسبق + التدريب اللاحق" هو المعيار القياسي لتدريب النماذج الكبيرة.