محاذاة مهام التعليم تُحرر النماذج اللغوية الكبيرة كمستخرجين للعلاقات بدون أمثلة

أظهرت الدراسات الحديثة أن عملية التخصيص الدقيق (fine-tuning) للنماذج اللغوية الكبيرة (LLMs) على مجموعات بيانات واسعة النطاق تتضمن تعليمات متعددة تُحسِّن بشكل كبير أداؤها في مجموعة واسعة من المهام المتعلقة باللغة الطبيعية (NLP)، خاصة في البيئة الصفرية (zero-shot). ومع ذلك، لا يزال من الصعب على النماذج اللغوية الكبيرة المُخصصة حسب التعليمات التفوق على النماذج الصغيرة في مهام استخلاص العلاقات (RE)، وهي مهمة أساسية في استخراج المعلومات. نحن نفترض أن عملية التخصيص حسب التعليمات لم تتمكن من إثارة قدرات قوية في استخلاص العلاقات في النماذج اللغوية الكبيرة، وذلك بسبب الندرة النسبية لمهام استخلاص العلاقات في مجموعات بيانات التخصيص حسب التعليمات، حيث تمثل أقل من 1% من جميع المهام (Wang et al., 2022). وللتغلب على هذا التحدي، نقترح إطارًا يُسمى QA4RE، والذي يُحاكي مهام استخلاص العلاقات بمهام الإجابة على الأسئلة (QA)، وهي المهمة السائدة في مجموعات بيانات التخصيص حسب التعليمات. أظهرت تجارب شاملة في بيئة الصفرية (zero-shot) لاستخلاص العلاقات على أربع مجموعات بيانات، باستخدام سلسلتين من النماذج اللغوية الكبيرة المُخصصة حسب التعليمات (إجمالي ستة نماذج)، أن إطارنا QA4RE يُحسِّن باستمرار أداء النماذج اللغوية الكبيرة، مما يُعزز بشكل قوي فرضيتنا، ويُمكّن النماذج من التفوق على النماذج الأساسية الصفرية القوية بفارق كبير. بالإضافة إلى ذلك، نقدّم تجارب وتحليلات موسعة تُظهر متانة إطارنا QA4RE، وفعاليته في البيئة القليلة العينات (few-shot)، وقوته في الانتقال إلى مهام جديدة. تُبرز هذه الدراسة طريقة واعدة لتعديل النماذج اللغوية الكبيرة لتمكّنها من التعامل مع مهام صعبة وغير ممثلة بشكل كافٍ من خلال محاكاتها بمهام شائعة في مجموعات بيانات التخصيص حسب التعليمات، مثل الإجابة على الأسئلة.