UDALM: التكيّف غير المُشرَّف للنطاق من خلال نمذجة اللغة

في هذا العمل، نستكشف التكييف غير المراقب للنماذج اللغوية المُدرّبة مسبقًا (UDA) لمهام ما بعد التدريب. نقدّم UDALM، وهي طريقة لتعديل النموذج (fine-tuning)، تستخدم خسارة مختلطة تجمع بين خسارة التصنيف وLoss نموذج اللغة المُقنّع (Masked Language Model)، والتي تتيح التكيّف مع توزيع المجال المستهدف بطريقة مقاومة وفعّالة من حيث عدد العينات. تُظهر تجاربنا أن أداء النماذج المدربة باستخدام الخسارة المختلطة يتناسب مع كمية البيانات المتاحة من المجال المستهدف، كما أن الخسارة المختلطة يمكن استخدامها بفعالية كمعيار لإيقاف التدريب أثناء عملية التكييف غير المراقب. بالإضافة إلى ذلك، نناقش العلاقة بين مقياس A-distance وخطأ المجال المستهدف، ونستعرض بعض القيود المرتبطة بنموذج التدريب المُعاكس للنطاق (Domain Adversarial Training). تم تقييم طريقةنا على اثني عشر زوجًا من المجالات من مجموعة بيانات مراجعات أمازون للنبرة العاطفية، حيث حققت دقة قدرها 91.74٪، أي تحسنًا مطلقًا قدره 1.11٪ مقارنة بأحدث النماذج المتاحة.