Command Palette
Search for a command to run...
توصيف جمل عالمي محسّن باستخدام التعلم المقارن القائم على النص المُوجّه والتعلم القائم على الطاقة
توصيف جمل عالمي محسّن باستخدام التعلم المقارن القائم على النص المُوجّه والتعلم القائم على الطاقة
Yuxin Jiang Linhan Zhang Wei Wang
الملخص
أظهرت التعلم المقارن أنه فعّال في تعزيز النماذج اللغوية المُدرّبة مسبقًا (PLMs) لاستخلاص تمثيلات جمل عالمية متفوّقة. ومع ذلك، لا تزال الطرق المقارنة الحالية تعاني من قيودتين رئيسيتين. أولاً، قد تحقق الدراسات السابقة أداءً ضعيفًا في ظل ظروف تغير المجال (domain shift)، مما يعرقل تطبيق تمثيلات الجمل في الممارسة العملية. ونُعزِّي هذا الأداء المنخفض إلى التفاصيل الزائدة في PLMs التي تحتوي على ملايين المعلمات. ولتخفيف هذه المشكلة، نقترح منهجية PromCSE (التعلم المقارن القائم على النموذج المُقترح للتمثيلات الجملية)، التي تُدرّب فقط على مجموعة صغيرة من النماذج الناعمة (Soft Prompt) — أي مجموعة من المتجهات القابلة للتدريب — مع الحفاظ على ثبات نماذج PLMs. ثانيًا، لا يستغل دالة الخسارة الشائعة في التعلم المقارن، وهي NT-Xent، بشكل كامل العناصر السلبية الصعبة (hard negatives) في السياقات المُعلَّمة. ولحل هذه المشكلة، نقترح دمج خسارة مبنية على الطاقة (Energy-based Hinge loss) لتعزيز القدرة التمييزية بين الأزواج، مستلهمين من العلاقة بين دالة NT-Xent ونمط التعلم القائم على الطاقة. أظهرت النتائج التجريبية على سبعة مهام قياسية لتوافق النصوص المعنى (STS) ومهام STS في ظل تغير المجال فعالية منهجنا مقارنةً بأفضل النماذج الحالية في تمثيل الجمل. يمكن الوصول إلى الكود الخاص بنا بشكل عام عبر الرابط: https://github.com/YJiangcm/PromCSE