الملخص المُختلف يمكن أن يجعل نماذج اللغة المُدرّبة مسبقًا أكثر كفاءة في التعلّم من عدد قليل من الأمثلة

لقد ساهمت النماذج اللغوية الكبيرة المُدرّبة مسبقًا بشكل كبير في مجال معالجة اللغة الطبيعية من خلال إظهار قدرات متميزة كمُتعلمين بقليل من الأمثلة (few-shot learners). ومع ذلك، فإن فعالية هذه النماذج تعتمد بشكل رئيسي على توسيع عدد معاملات النموذج وتصميم النص التوجيهي (prompt)، مما يعيق تطبيقها في معظم التطبيقات الواقعية. تُقدّم هذه الدراسة منهجًا جديدًا قابلاً للتركيب، قابلاً للتوسيع، وفعالًا يُسمى "DART" (DifferentiAble pRompT)، والذي يمكنه تحويل النماذج اللغوية الصغيرة إلى مُتعلمين بقليل من الأمثلة بشكل أفضل دون الحاجة إلى هندسة نص توجيهي. يعتمد المبدأ الأساسي لهذا النهج على إعادة صياغة المهام المحتملة في مجال معالجة اللغة الطبيعية إلى مهمة تُؤديها النماذج اللغوية المُدرّبة مسبقًا، مع تحسين نمط النص التوجيهي والوسوم المستهدفة بشكل تفاضلي باستخدام التدرج العكسي (backpropagation). علاوة على ذلك، يمكن لهذا النهج: (1) دمجه مع أي نموذج لغوي مُدرّب مسبقًا؛ (2) توسيعه ليشمل مهام التصنيف الشائعة. وتشير التقييمات الشاملة للوظائف القياسية في معالجة اللغة الطبيعية إلى أن النهج المقترح يحقق أداءً أفضل في المهام القائمة على عدد قليل من الأمثلة. يمكن الوصول إلى الكود عبر الرابط: https://github.com/zjunlp/DART.