Aysenur Kocak Shuo Yang Bardh Prenkaj Gjergji Kasneci

الملخص

لقد حققت نماذج اللغة المُدرّبة مسبقًا نجاحًا ملحوظًا في تطبيقات متنوعة، لكنها ما زالت عرضة للت correlations الاصطناعية المُشَكّلة بحسب المفاهيم، والتي تُضعف من موثوقية النموذج وعدالته. في هذا العمل، نقدّم CURE، وهي إطار جديد وخفيف الوزن، يُفرّق بشكل منهجي بين المفاهيم المُختصرة ويُقلّل من تأثيرها، مع الحفاظ على المعلومات المحتوى الأساسية. يبدأ نهجنا باستخراج تمثيلات غير مرتبطة بالمفاهيم من خلال مُستخرج محتوى مخصص، مدعوم بشبكة عكسية، مما يضمن الحد الأدنى من فقدان المعلومات ذات الصلة بالمهام. ثم يُطبّق وحدة تقييد التحيّز قابلة للتحكم، والتي تستخدم التعلم التمييزي (contrastive learning) لضبط دقيق لتأثير الملامح المفاهيمية المتبقية، ما يمكّن النموذج من تقليل التحيّز الضار أو استغلال العلاقات المفيدة حسب الحاجة لل任務 المستهدفة. وقد تم تقييم CURE على مجموعتي بيانات IMDB وYelp باستخدام ثلاث هياكل مُدرّبة مسبقًا، حيث حققت نتائج تُظهر تحسّنًا مطلقًا بـ +10 نقاط في مؤشر F1 على IMDB، و+2 نقطة على Yelp، مع إدخال حمل حسابي ضئيل جدًا. يُشكّل هذا النهج نموذجًا مرنًا وغير مُراقب للتعامل مع التحيّزات المفاهيمية، مُمهّدًا الطريق لأنظمة فهم لغوي أكثر موثوقية وعدالة.