نقدم نموذج GPT-NeoX-20B، وهو نموذج لغوي ذاتي التتابع يحتوي على 20 مليار معلمة تم تدريبه على مجموعة البيانات "الكومة" (The Pile). سيتم توفير أوزان هذا النموذج بشكل مجاني ومفتوح للجمهور من خلال رخصة متسامحة. حسب علمنا، يعتبر هذا النموذج الكثيف الذاتي التتابع الأكبر حجمًا الذي يتم توفير أوزانه بشكل عام ومجاني في وقت تقديم هذه الدراسة. في هذا العمل، نصف هندسة النموذج وعملية تدريبه ونقيم أدائه في مجموعة متنوعة من المهام المتعلقة بفهم اللغة والرياضيات والمعرفة. لقد وجدنا أن GPT-NeoX-20B هو نموذج قوي للغاية في الاستدلال القليل الطلقات (few-shot reasoning) ويحقق زيادة كبيرة في الأداء عند تقييمه بخمس طلقات مقارنة بنماذج GPT-3 وFairSeq المماثلة الحجم. نحن نوفر كود التدريب والتقييم وأوزان النموذج بشكل مفتوح المصدر على https://github.com/EleutherAI/gpt-neox.