المعرفة في السياق: نحو نماذج لغوية شبه بارامترية معرفية

النماذج اللغوية شبه المعلمية بشكل عام تتطلب عددًا كبيرًا جدًا من المعلمات النموذجية لتخزين المعرفة الضرورية لحل مهام لغوية طبيعية متعددة في بيئات الصفر/قليل من الأمثلة. بالإضافة إلى ذلك، من الصعب تكييفها مع المعرفة العالمية المتغيرة دون الحاجة إلى إعادة تدريب النموذج بتكلفة عالية. في هذا البحث، نطور بنية جديدة للنماذج اللغوية شبه المعلمية تُسمى "المعرفة في السياق" (KiC)، التي تمكّن نموذجًا لغويًا نمطيًا (Text-to-Text) من امتلاك ذاكرة خارجية غنية بالمعرفة. بشكل محدد، تحتوي الذاكرة الخارجية على ستة أنواع مختلفة من المعرفة: المعرفة الكيانية، والمعرفة القاموسية، والمعرفة العقلانية، والمعرفة الحدثية، والمعرفة السردية، ومعرفة السببية. بالنسبة لكل مثال مدخل، يقوم نموذج KiC باختيار نوع معرفة بشكل تكيفي واسترجاع أجزاء المعرفة الأكثر فائدة. ثم يُدخل المثال المدخل مع تعزيزه بالمعرفة إلى نموذج نصي إلى نصي (مثل T5) لإنتاج الإجابة الناتجة، حيث تكون كل من المدخل والخرج بصيغة لغوية طبيعية بعد التحفيز (Prompting). بشكل مثير للاهتمام، نلاحظ أن KiC يمكن اعتباره نوعًا خاصًا من نماذج "المزيج من الخبراء" (MoE)، حيث يلعب مُحدد المعرفة دور "مُوجّه" (Router) مسؤول عن تحديد تعيين التسلسل إلى الخبراء في نماذج MoE. هذه الملاحظة الأساسية تحفّزنا على تطوير خوارزمية جديدة لتدريب KiC باستخدام مُحدد معرفة تكيفي حسب المثال. وبكون KiC نموذجًا شبه معلميًا غنيًا بالمعرفة، فإنه يحتاج فقط إلى جزء نمطي صغير لتحقيق أداء متميز في المهام غير المرئية دون تدريب مسبق. وعند تقييمه على أكثر من 40 مهمة مختلفة، نظهر أن KiC_Large الذي يحتوي على 770 مليون معلمة يتفوق بفارق كبير على نماذج لغوية كبيرة (LMs) تتراوح حجمها بين 4 إلى 39 مرة أكبر. كما نُظهر أن KiC تُظهر قدرات مُبْتَكِرة عند مقياس نموذج أصغر بكثير مقارنة بالنماذج المعلمية الكاملة.