تحسين نموذج اللغة المدرب مسبقًا باستخدام الإشراف الضعيف: نهج تدريب ذاتي منظم بالمقارنة

تمكنت النماذج اللغوية المدربة مسبقًا والمعدلة بدقة (LMs) من تحقيق نجاح كبير في العديد من مهام معالجة اللغة الطبيعية (NLP)، ولكنها لا تزال تتطلب بيانات مصنفة بشكل مفرط في مرحلة التعديل الدقيق. ندرس مشكلة تعديل النماذج اللغوية المدربة مسبقًا باستخدام الإشراف الضعيف فقط، دون أي بيانات مصنفة. تعد هذه المشكلة صعبة لأن السعة العالية للنماذج اللغوية تجعلها عرضة للاستفادة الزائدة من التسميات الضوضائية التي ينتجها الإشراف الضعيف. لمعالجة هذه المشكلة، طورنا إطارًا ذاتي التدريب التبايني يُدعى COSINE، والذي يمكنه تمكين تعديل النماذج اللغوية باستخدام الإشراف الضعيف. بدعم من التنظيم التبايني وإعادة الوزن بناءً على الثقة، يمكن لهذا الإطار الذاتي التدريب التبايني تحسين تناسب النموذج تدريجيًا بينما يقمع بفعالية انتشار الأخطاء. أظهرت التجارب على مهام تصنيف المتسلسلات والرموز والزوجيات الجملية أن نموذجنا يتفوق بشكل كبير على أقوى خط أساس في 7 مقاييس لأداء 6 مهام، وحقق أداءً تنافسيًا مع طرق التعديل الدقيق بالإشراف الكامل.