التعلم القائم على المقاييس في السياق: دراسة حالة في تبسيط النصوص

أثبت التعلم في السياق (ICL) للنماذج اللغوية الكبيرة أنه منهج قوي لعدة مهام معالجة اللغة الطبيعية. ومع ذلك، فإن تحديد أفضل طريقة لاختيار الأمثلة للتعلم في السياق ليس أمراً بديهياً، حيث يمكن أن تختلف النتائج بشكل كبير حسب جودة الأمثلة وكمّها وترتيبها. في هذه الورقة، نقوم بدراسة حالة على تبسيط النص (TS) لاستكشاف كيفية اختيار أفضل الأمثلة وأكثرها موثوقية للتعلم في السياق. نقترح منهجية تُسمى التعلم في السياق القائم على المقياس (MBL)، والتي تستخدم مقاييس تبسيط النص الشائعة مثل SARI ونسبة التقليل وBERT-Precision لاختيار الأمثلة. من خلال مجموعة واسعة من التجارب باستخدام نماذج GPT بمقاسات مختلفة على معايير معيارية لتبسيط النص مثل TurkCorpus وASSET، نُظهر أن الأمثلة المختارة بناءً على أعلى درجات SARI تُظهر أفضل الأداء على النماذج الكبيرة مثل GPT-175B، في حين أن نسبة التقليل تُظهر عادةً أداءً أفضل على النماذج الأصغر مثل GPT-13B وGPT-6.7B. علاوةً على ذلك، نُثبت أن MBL تتمتع بموثوقية عامة تجاه ترتيب الأمثلة والاختبارات خارج المجال، وتفوق النماذج المُعدّلة (fine-tuned) القوية والمتقدمة في المجال. وأخيراً، نُظهر أن سلوك النماذج الكبيرة من نوع GPT يمكن التحكم فيه ضمنياً من خلال اختيار المقياس المناسب. تقدم أبحاثنا إطاراً جديداً لاختيار الأمثلة في التعلم في السياق، وتوثّق فعاليته في مهام تبسيط النص، مما يفتح آفاقاً جديدة نحو أنظمة أكثر دقة وكفاءة في إنشاء النص الطبيعي (NLG).