نماذج اللغة هي متعلمات قليلة الطلقات

العمل الحديث قد أظهر تحسينات كبيرة في العديد من مهام معالجة اللغة الطبيعية (NLP) والمعياريات من خلال التدريب المسبق على مكتبة نصوص ضخمة، يتبعه تعديل دقيق للنموذج على مهمة محددة. رغم أن هذا الأسلوب عادةً ما يكون غير محدد للمهمة من حيث البنية، فإنه لا يزال يحتاج إلى قواعد بيانات للتعديل الدقيق تتكون من آلاف أو عشرات الآلاف من الأمثلة. بالمقارنة، يمكن للبشر عمومًا أداء مهمة لغوية جديدة بناءً على أمثلة قليلة فقط أو بناءً على تعليمات بسيطة - وهو شيء ما زالت أنظمة معالجة اللغة الطبيعية الحالية تواجه صعوبة كبيرة في تحقيقه. هنا نوضح أن زيادة حجم نماذج اللغة بشكل كبير تحسن الأداء القليل الإشراف وغير المحدد للمهمة بشكل كبير، وأحيانًا حتى يصل إلى مستوى التنافس مع أفضل الأساليب السابقة التي تعتمد على التعديل الدقيق. تحديدًا، قمنا بتدريب GPT-3، وهو نموذج لغوي ذاتي الانحدار يحتوي على 175 مليار معلمة، أي أكثر بعشر مرات مما تحتوي عليه أي نموذج لغوي غير متفرق سابق، واختبرنا أدائه في الإعداد القليل الإشراف. بالنسبة لجميع المهام، تم تطبيق GPT-3 دون أي تحديثات للتدرج أو تعديل دقيق، حيث تم تحديد المهام والأمثلة القليلة للإشراف عبر التفاعل النصي الخالص مع النموذج. حقق GPT-3 أداءً قويًا على العديد من قواعد بيانات معالجة اللغة الطبيعية، بما في ذلك الترجمة وتقديم الإجابات على الأسئلة ومهمات الملء الفارغ (cloze tasks)، بالإضافة إلى عدة مهمات تتطلب الاستدلال السريع أو التكيف النطقي مثل إعادة ترتيب الكلمات واستخدام كلمة جديدة في جملة أو إجراء حسابات حسابية ثلاثية الأرقام. وفي الوقت نفسه، حددنا أيضًا بعض قواعد البيانات حيث لا يزال أداء GPT-3 القليل الإشراف يعاني من الصعوبات، وبعض قواعد البيانات التي تواجه فيها GPT-3 مشكلات منهجية مرتبطة بالتدريب على مكتبات الويب الضخمة. أخيرًا، اكتشفنا أن GPT-3 قادر على إنتاج عينات من المقالات الإخبارية التي يجد المحكمون البشريون صعوبة في تمييزها عن المقالات التي كتبها البشر. نناقش الآثار الاجتماعية الأوسع لهذا الاكتشاف ولـ GPT-3 بشكل عام.