PALT: نقل نماذج اللغة الخفيف المعلمة لاستكمال مخطط المعرفة

تقدم هذه الورقة منهجًا مُقلِّلًا من المعلمات لتعلم الانتقال في النماذج اللغوية المُدرَّبة مسبقًا (LM) لإنجاز مخططات المعرفة (KG). بدلًا من التدريب الدقيق (fine-tuning)، الذي يُعدِّل جميع معلمات النموذج اللغوي، نقوم فقط بتعديل عدد قليل من المعلمات الجديدة مع الإبقاء على معلمات النموذج الأصلي ثابتة. نحقق ذلك من خلال إعادة صياغة مهمة إكمال مخططات المعرفة كمهمة "ملء الفراغات"، وإدخال مشفر مُقلِّل المعلمات فوق النماذج اللغوية الأصلية. نُظهر أن، من خلال تعديل عدد أصغر بكثير من المعلمات مقارنة بالتدريب الدقيق، يمكن للنماذج اللغوية أن تنتقل بشكل غير تافه إلى معظم المهام، وتصل إلى مستوى تنافسي مع أفضل النماذج السابقة. على سبيل المثال، نتفوّق على النماذج التي تعتمد على التدريب الدقيق الكامل في معيار إكمال مخططات المعرفة، وذلك بتعديل ما يعادل 1% فقط من المعلمات. يمكن الوصول إلى الشيفرة والبيانات من خلال الرابط: \url{https://github.com/yuanyehome/PALT}.