التدريب العدواني للنماذج اللغوية العصبية الكبيرة

العامة والمتانة هما من الخصائص الأساسية المطلوبة عند تصميم طرق التعلم الآلي. يمكن للتدريب العدائي تعزيز المتانة، لكن الدراسات السابقة غالباً ما تشير إلى أنه يضر بالعامة. في مجال معالجة اللغة الطبيعية (NLP)، أظهرت نماذج اللغة العصبية الكبيرة المُدرَّبة مسبقًا، مثل BERT، تحسينات ملحوظة في العامية على مجموعة واسعة من المهام، مع تحسن إضافي من خلال التدريب العدائي المُخصص. ومع ذلك، تظل هذه النماذج عرضة لهجمات عدائية. في هذا البحث، نُظهر أن التدريب العدائي المُسبق يمكن أن يحسن كل من العامية والمتانة. نقترح خوارزمية عامة تُسمى ALUM (التدريب العدائي للنماذج العصبية الكبيرة للغة)، والتي تُنظم هدف التدريب من خلال تطبيق اضطرابات في فضاء التضمين بحيث تُعدّل الخسارة العدائية إلى أقصى حد. نقدّم أول دراسة شاملة للتدريب العدائي عبر جميع المراحل، بما في ذلك التدريب المسبق من الصفر، والتدريب المسبق المستمر على نموذج مُدرّب جيدًا، والتدريب المخصص للمهام. تُحقق ALUM مكاسب كبيرة مقارنة بـ BERT في مجموعة واسعة من مهام NLP، سواء في السيناريوهات العادية أو العدائية. وحتى بالنسبة للنماذج التي تم تدريبها جيدًا على مجموعات نصية ضخمة جدًا، مثل RoBERTa، يمكن لـ ALUM أن تحقق مكاسب كبيرة من خلال التدريب المسبق المستمر، بينما لا يمكن للطرق التقليدية غير العدائية تحقيق ذلك. ويمكن دمج ALUM بشكل إضافي مع التدريب المخصص للمهام لتحقيق مكاسب إضافية. يُمكن الوصول إلى كود ALUM بشكل عام عبر الرابط: https://github.com/namisan/mt-dnn.