mLUKE: قوة تمثيلات الكيانات في نماذج اللغة المتعددة اللغات المدربة مسبقًا

أظهرت الدراسات الحديثة أن نماذج اللغة المتعددة اللغات المدربة مسبقًا يمكن تحسينها بشكل فعال باستخدام معلومات التوافق بين اللغات من كيانات ويكيبيديا. ومع ذلك، فإن الأساليب الحالية تستغل معلومات الكيانات فقط في مرحلة التدريب المسبق ولا تستخدمها بشكل صريح في المهام اللاحقة. في هذه الدراسة، نستكشف فعالية الاستفادة من تمثيلات الكيانات في المهام العابرة للغات. قمنا بتدريب نموذج لغوي متعدد اللغات يشمل 24 لغة مع تمثيلات الكيانات ونوضح أن النموذج يتفوق باستمرار على النماذج المدربة مسبقًا القائمة على الكلمات في مجموعة متنوعة من مهام النقل العابر للغات. كما قمنا بتحليل النموذج والفهم الرئيسي هو أن دمج تمثيلات الكيانات في الإدخال يسمح لنا باستخراج المزيد من الخصائص المستقلة عن اللغة. كما قمنا بتقييم النموذج باستخدام مهمة تعليمية متعددة اللغات مع مجموعة بيانات mLAMA (ملاما). أظهرنا أن استخدام الدعوات القائمة على الكيانات يزيد من احتمالية استحضار المعرفة الوقائعية الصحيحة أكثر من استخدام تمثيلات الكلمات فقط. يمكن الوصول إلى شفرتنا المصدرية والنماذج المدربة مسبقًا عبر الرابط: https://github.com/studio-ousia/luke.