التحريك، والتنبؤ، والصياغة إعادة: التعلم شبه المراقب باستخدام الطالب الضوضائي لوصف الصور

تتركز الطرق الحديثة للتعلم شبه المُراقب (SSL) بشكل أساسي على مهام التصنيف متعدد الفئات. تتيح مهام التصنيف خلطًا سهلًا لعلامات الفئات أثناء عملية التضخيم (augmentation)، لكن هذا لا يُمكّن بسهولة من التوسع إلى الإخراجات الهيكلية مثل последوات الكلمات التي تظهر في مهام مثل وصف الصور. يُعدّ تدريب الطالب الضوضائي (Noisy Student Training) نموذجًا حديثًا للتعلم شبه المُراقب تم اقتراحه لمهام تصنيف الصور، وهو امتداد لنموذج التعلم الذاتي (self-training) وتعلم المعلم والطالب (teacher-student learning). في هذه الدراسة، نقدّم تحليلًا معمّقًا لإطار عمل التعلم شبه المُراقب للطالب الضوضائي (Noisy Student SSL) في مهام وصف الصور، ونحقق نتائج تُعدّ من أرقى النتائج الحالية. يعتمد الخوارزمية الأصلية على خطوات تضخيم بيانات مكلفة حسابيًا تتضمن تعديل الصور الأصلية وحساب الميزات لكل صورة معدلة. ونُظهر أن استخدام اضطرابات بسيطة في النموذج والميزات المُدخلة إلى الصور الأصلية للنموذج الطالب، حتى في غياب تضخيم الصور الأصلية، يُعدّ مفيدًا جدًا لتدريب التعلم شبه المُراقب. كما نُظهر كيف يمكن استخدام مُولّد صيغ مُعاد صياغتها (paraphrase generator) بشكل فعّال في تضخيم العلامات لتحسين جودة العلامات الوهمية (pseudo labels) وزيادة الأداء بشكل كبير. وبلغت نتائجنا النهائية في البيئة ذات البيانات المُعلمة المحدودة (1% من بيانات MS-COCO المُعلمة) تفوق النماذج السابقة الأفضل من حيث الأداء بمقدار 2.5 نقطة في مقياس BLEU4 و11.5 نقطة في مقياس CIDEr.