الاستدلال كمتعلم قليل الطلقات

أظهرت النماذج اللغوية المدربة مسبقًا والكبيرة قدرات ملحوظة كمتعلمات ذات أمثلة قليلة. ومع ذلك، يعتمد نجاحها بشكل كبير على توسيع معلمات النموذج إلى درجة تجعل التدريب والتشغيل صعبين. في هذا البحث، نقترح منهجية جديدة باسم EFL (التعلم الفعال بالقليل من الأمثلة)، والتي يمكن أن تحوّل النماذج اللغوية الصغيرة إلى متعلمات أفضل ذات أمثلة قليلة. الفكرة الرئيسية لهذه المنهجية هي إعادة صياغة المهام المحتملة في مجال معالجة اللغة الطبيعية كمهام استنباطية (entailment)، ومن ثم ضبط النموذج بكمية قليلة جدًا من الأمثلة، يصل عددها إلى 8 أمثلة فقط. نوضح أيضًا أن طريقة التعلم المقترحة يمكن أن تكون: (i) مدمجة بطبيعتها مع طريقة زيادة البيانات المستندة إلى التعلم التبايني غير المنظور؛ (ii) قابلة للتوسع بسهولة إلى التعلم القليل الأمثل متعدد اللغات. أثبتت تقييمات منهجية أجريت على 18 مهمة قياسية في مجال معالجة اللغة الطبيعية أن هذه المنهجية تحسن الطرق الحالية المتقدمة للتعلم القليل الأمثل بنسبة 12٪، وتحقق أداءً تنافسيًا في التعلم القليل الأمثل مع نماذج أكبر بمقدار 500 مرة مثل GPT-3.