تحسين التدريب المسبق ذاتي التوجيه من خلال نموذج لغة مُقنَّع يستغل الاستكشاف الكامل

تم اعتماد إطار نموذج اللغة المُقنّعة (MLM) على نطاق واسع لتدريب اللغة ذاتية التوجيه مسبقًا. في هذه الورقة، نجادل بأن الأقنعة المُستخرجة عشوائيًا في MLM تؤدي إلى تباين كبير جدًا في التدرجات (gradient variance). ولذلك، نقدّر نظريًا تباين التدرجات من خلال ربط تباين التدرجات بالتباين التبادلي (covariance) مع المسافة الهمنغية (Hamming distance) بين قناعين مختلفين (مع تسلسل نصي معين). ولتقليل التباين الناتج عن عشوائية اختيار الأقنعة، نقترح استراتيجية تغطية شاملة بالكامل، حيث يتم تقسيم تسلسل النص إلى عدد معين من الأقسام غير المتداخلة. ثم، تُغطى الرموز داخل كل قسم واحد للتدريب. ونثبت نظريًا أن التدرجات المستمدة من هذا النموذج الجديد لتغطية الأقنعة تمتلك تباينًا أصغر، ويمكن أن تؤدي إلى تدريب ذاتي توجيهي أكثر كفاءة. أجرينا تجارب واسعة النطاق على كل من التدريب المسبق المستمر والتدريب المسبق العام من الصفر. وتوافق النتائج التجريبية مع أن هذه الاستراتيجية الجديدة لتغطية الأقنعة تفوق دائمًا التغطية العشوائية القياسية. كما تؤكد التحليلات التفصيلية للكفاءة والدراسات التحليلية (ablation studies) مجددًا المزايا التي تمنحها استراتيجيتنا الشاملة لتغطية الأقنعة ضمن إطار MLM.