الإخفاء يلتقي بالإشراف: تحالف تعليمي قوي

أصبح التدريب المسبق باستخدام إدخالات مُقنّعة عشوائيًا اتجاهًا جديدًا في التدريب ذاتي القيادة. ومع ذلك، لا يزال التدريب المراقب يواجه تحديًا في اعتماد تقنيات التحويل بالقناع (masking augmentations)، وذلك بشكل رئيسي بسبب عدم استقرار التدريب. في هذه الورقة، نقترح طريقة جديدة لدمج تقنيات التحويل بالقناع تُسمى "الفرع الفرعي المقنع" (Masked Sub-branch، أو MaskSub). يتكوّن MaskSub من فرع رئيسي وفرع فرعي، حيث يُعد الفرع الفرعي جزءًا من الفرع الرئيسي. يخضع الفرع الرئيسي لطرق التدريب التقليدية، بينما يُخضع الفرع الفرعي لتقنيات تحويل قناع مكثفة أثناء التدريب. تُعالج طريقة MaskSub هذا التحدي من خلال تقليل الآثار السلبية باستخدام دالة خسارة مُرخية تشبه دالة الخسارة المستوحاة من التعلم الذاتي (self-distillation loss). تُظهر تحليلاتنا أن MaskSub يُحسّن الأداء، مع تقارب أسرع لخسارة التدريب مقارنة بالتدريب القياسي، مما يشير إلى أن طريقة العمل هذه تُعزز استقرار عملية التدريب. كما نقوم بتوثيق أداء MaskSub عبر سيناريوهات تدريب متنوعة وأنماط نموذجية، بما في ذلك تدريب DeiT-III، وتحسين نموذج MAE، وتحسين نموذج CLIP، وتدريب BERT، بالإضافة إلى الهياكل الهرمية (مثل ResNet وSwin Transformer). تُظهر النتائج أن MaskSub يحقق تحسينات ملحوظة ومستمرة في الأداء في جميع الحالات. تُعد MaskSub حلًا عمليًا وفعالًا لإدخال تحسينات إضافية في الت régularization تحت مختلف أساليب التدريب. يمكن الوصول إلى الكود من خلال الرابط التالي: https://github.com/naver-ai/augsub