نقدم تطوير GPT-4، وهو نموذج كبير الحجم ومتنوع الوسائط يمكنه قبول مدخلات صورية ونصية وإنتاج مخرجات نصية. رغم أنه أقل قدرة من البشر في العديد من السيناريوهات الواقعية، يظهر GPT-4 أداءً على مستوى الإنسان في مختلف المقاييس المهنية والأكاديمية، بما في ذلك النجاح في امتحان المحاماة المحاكي بدرجة تقارب العشرة بالمائة العُليا من الممتحنين. يعتمد GPT-4 على نموذج Transformer تم تدريبه مسبقًا للتنبؤ بالرمز التالي في المستند. يؤدي عملية التحالف بعد التدريب إلى تحسين الأداء في مقاييس الدقة والالتزام بالسلوك المرغوب. كان أحد المكونات الأساسية لهذا المشروع هو تطوير البنية التحتية وطرق الأمثلة التي تتصرف بشكل متوقع عبر نطاق واسع من القياسات. هذا ما مكننا من التنبؤ بدقة ببعض جوانب أداء GPT-4 بناءً على نماذج تم تدريبها باستخدام حساب لا يتجاوز واحدًا من الألف من حسابات GPT-4.