GPT هو اختصار لـ Generative Pre-trained Transformer (المحول المُدرَّب مُسبقًا)، وهو نموذج شبكة عصبية للتعلم العميق يعتمد على بنية Transformer، وقد اقترحته OpenAI في عام 2018. من خلال التدريب المُسبق على بيانات نصية واسعة النطاق، يتمتع نموذج GPT بقدرات قوية على فهم اللغة وتوليدها، ويمكن استخدامه في مجموعة متنوعة من مهام معالجة اللغة الطبيعية مثل إنشاء النصوص وأنظمة الحوار والترجمة الآلية وتحليل المشاعر وأنظمة الإجابة على الأسئلة، إلخ.

التكنولوجيا الأساسية لنموذج GPT هي بنية المحول، التي تلتقط المعلومات السياقية بشكل فعال، وتتعامل مع التبعيات طويلة المدى، وتنفذ الحوسبة المتوازية من خلال آلية الاهتمام الذاتي. تستخدم عملية التدريب المسبق لنموذج GPT عادةً الدالة الموضوعية لنموذج اللغة، والتي تتمثل في التنبؤ باحتمالية الكلمة التالية بناءً على الكلمات k السابقة، ثم ضبطها على مهمة محددة. يوضح الرسم البياني التالي المراحل المختلفة لتطوير GPT.