Prompt2Model: إنشاء نماذج قابلة للنشر من تعليمات بلغة طبيعية

تمكن نماذج اللغة الكبيرة (LLMs) مُنشئي الأنظمة اليوم من إنشاء أنظمة معالجة اللغة الطبيعية (NLP) قادرة على الأداء من خلال التحفيز (prompting)، حيث يكفي لهم وصف المهمة بلغة طبيعية وتقديم عدد قليل من الأمثلة. ومع ذلك، من جوانب أخرى، تمثل نماذج اللغة الكبيرة خطوة للوراء مقارنة بالنماذج التقليدية المخصصة لمعالجة اللغة الطبيعية؛ فهي تتطلب موارد حاسوبية واسعة النطاق لتنفيذها، ويمكن أن تكون مقيّدة خلف واجهات برمجة التطبيقات (APIs). في هذا البحث، نقترح طريقة عامة تُسمى Prompt2Model، تأخذ وصفًا لمهمة بلغة طبيعية مشابهًا للتحفيزات المقدمة إلى نماذج اللغة الكبيرة، وتستخدم هذا الوصف لتدريب نموذج مخصص يسهل تطبيقه. يتم ذلك من خلال عملية متعددة المراحل تشمل استرجاع مجموعات بيانات ونماذج مُدرّبة مسبقًا، وإنشاء بيانات باستخدام نماذج اللغة الكبيرة، ثم التدريب المُراقب الدقيق على هذه المجموعات المسترجعة والمحسوبة. على مدى ثلاث مهام، نُظهر أنه بالاعتماد على نفس التحفيز القليل (few-shot prompt)، يتمكن Prompt2Model من تدريب نماذج تتفوق على نتائج نموذج لغة قوي مثل gpt-3.5-turbo بمتوسط 20٪، مع أن حجمها قد يكون أصغر بنسبة تصل إلى 700 مرة. كما نُظهر أن هذه البيانات يمكن استخدامها لتقديم تقديرات موثوقة لأداء النماذج، ما يمكّن مطوري النماذج من تقييم موثوقية النموذج قبل التنفيذ. يُتاح Prompt2Model مفتوح المصدر عبر الرابط التالي: https://github.com/neulab/prompt2model.