HyperAIHyperAI

Command Palette

Search for a command to run...

توصيف جمل عالمي محسّن باستخدام التعلم المقارن القائم على النص المُوجّه والتعلم القائم على الطاقة

Yuxin Jiang Linhan Zhang Wei Wang

الملخص

أظهرت التعلم المقارن أنه فعّال في تعزيز النماذج اللغوية المُدرّبة مسبقًا (PLMs) لاستخلاص تمثيلات جمل عالمية متفوّقة. ومع ذلك، لا تزال الطرق المقارنة الحالية تعاني من قيودتين رئيسيتين. أولاً، قد تحقق الدراسات السابقة أداءً ضعيفًا في ظل ظروف تغير المجال (domain shift)، مما يعرقل تطبيق تمثيلات الجمل في الممارسة العملية. ونُعزِّي هذا الأداء المنخفض إلى التفاصيل الزائدة في PLMs التي تحتوي على ملايين المعلمات. ولتخفيف هذه المشكلة، نقترح منهجية PromCSE (التعلم المقارن القائم على النموذج المُقترح للتمثيلات الجملية)، التي تُدرّب فقط على مجموعة صغيرة من النماذج الناعمة (Soft Prompt) — أي مجموعة من المتجهات القابلة للتدريب — مع الحفاظ على ثبات نماذج PLMs. ثانيًا، لا يستغل دالة الخسارة الشائعة في التعلم المقارن، وهي NT-Xent، بشكل كامل العناصر السلبية الصعبة (hard negatives) في السياقات المُعلَّمة. ولحل هذه المشكلة، نقترح دمج خسارة مبنية على الطاقة (Energy-based Hinge loss) لتعزيز القدرة التمييزية بين الأزواج، مستلهمين من العلاقة بين دالة NT-Xent ونمط التعلم القائم على الطاقة. أظهرت النتائج التجريبية على سبعة مهام قياسية لتوافق النصوص المعنى (STS) ومهام STS في ظل تغير المجال فعالية منهجنا مقارنةً بأفضل النماذج الحالية في تمثيل الجمل. يمكن الوصول إلى الكود الخاص بنا بشكل عام عبر الرابط: https://github.com/YJiangcm/PromCSE


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp