التدريب المسبق للنماذج اللغوية باستخدام التصنيف الخفي النادر

لقد حققت النماذج اللغوية المُدرَّبة مسبقًا كبيرة الحجم الحديثة نجاحًا كبيرًا في مجموعة واسعة من المهام اللاحقة. ومع ذلك، فإن معظم أهداف التدريب المسبق للنماذج اللغوية تركز فقط على إعادة بناء النص، دون السعي لتعلم تمثيلات خفية قابلة للتفسير على مستوى الجملة. في هذه الورقة، نسعى إلى تمكين النماذج اللغوية من فهم أعمق للجمل من خلال اقتراح هدف تدريب مسبق جديد يُسمى "التصنيف الخفي النادر" (Sparse Latent Typing)، والذي يمكّن النموذج من استخراج كلمات مفتاحية على مستوى الجملة بشكل نادر وبنوعيات خفية متنوعة. تُظهر النتائج التجريبية أن نموذجنا قادر على تعلم فئات خفية قابلة للتفسير بطريقة ذاتية التعلم دون استخدام أي معرفة خارجية. علاوةً على ذلك، فإن النموذج اللغوي المُدرَّب مسبقًا باستخدام هذا الهدف يُحسّن بشكل ملحوظ المهام اللاحقة المرتبطة باستخراج المعلومات، سواء في البيئات المُشرَّفة أو في سياقات التعلم القليل (few-shot). يمكن الوصول إلى الكود الخاص بنا بشكل عام عبر الرابط التالي: https://github.com/renll/SparseLT.